[논문 리뷰] PuzzleNet: Scene Text Detection by Segment Context Graph Learning

Hao Liu, Antai Guo외 3명|arXiv (Cornell University)|2020. 02. 26.

Handwritten Text Recognition Techniques참고 문헌 37인용 수 6

한 줄 요약

PuzzleNet는 텍스트 영역을 기울인 직사각형 세그먼트로 모델링하고, 맥락 그래프를 통해 세그먼트 간 외관 및 기하학적 상관관계를 학습하기 위해 이중 분지형 다중유사도 그래프 컨볼루션 네트워크(MSGCN)를 활용하는 새로운 분해 기반의 장면 텍스트 검출 방법을 제안한다. 이 방법은 세그먼트 맥락을 효과적으로 융합하여 임의의 형태의 텍스트를 정확하게 다각형으로 검출함으로써 ICDAR15, MSRA-TD500, SCUT-CTW1500에서 최신 기준(SOTA) 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Recently, a series of decomposition-based scene text detection methods has achieved impressive progress by decomposing challenging text regions into pieces and linking them in a bottom-up manner. However, most of them merely focus on linking independent text pieces while the context information is underestimated. In the puzzle game, the solver often put pieces together in a logical way according to the contextual information of each piece, in order to arrive at the correct solution. Inspired by it, we propose a novel decomposition-based method, termed Puzzle Networks (PuzzleNet), to address the challenging scene text detection task in this work. PuzzleNet consists of the Segment Proposal Network (SPN) that predicts the candidate text segments fitting arbitrary shape of text region, and the two-branch Multiple-Similarity Graph Convolutional Network (MSGCN) that models both appearance and geometry correlations between each segment to its contextual ones. By building segments as context graphs, MSGCN effectively employs segment context to predict combinations of segments. Final detections of polygon shape are produced by merging segments according to the predicted combinations. Evaluations on three benchmark datasets, ICDAR15, MSRA-TD500 and SCUT-CTW1500, have demonstrated that our method can achieve better or comparable performance than current state-of-the-arts, which is beneficial from the exploitation of segment context graph.

연구 동기 및 목표

• 자연 장면 이미지 내에서 임의의 형태, 다중 방향, 장거리 텍스트 인스턴스를 검출하는 데 도전하는 것.
• 이전의 분해 기반 방법들이 텍스트 세그먼트 간 맥락 정보를 忽略하는 한계를 극복하는 것.
• 맥락 그래프 구조를 사용해 세그먼트 간 외관 및 기하학적 상관관계를 모델링함으로써 검출 정확도를 향상시키는 것.
• 사각형 또는 문자 수준의 박스보다 더 효과적인 국소 정보를 포착하는 세그먼트 표현을 개발하는 것.
• 예측된 맥락적 조합 기반으로 세그먼트를 융합하여 정밀한 다각형 형태의 검출을 가능하게 하는 것.

제안 방법

• 세그먼트 제안 네트워크(SPNe)는 일관된 방향성을 가진 국소 텍스트 영역를 커버하는 기울인 직사각형 세그먼트를 생성하며, 기존의 사각형 또는 문자 수준의 박스를 대체한다.
• 세그먼트는 맥락 그래프의 노드로 모델링되며, 간선은 세그먼트 간 외관 및 기하학적 상관관계를 나타낸다.
• 각 세그먼트와 그 맥락적 이웃 세그먼트 간의 외관 및 기하학적 유사성을 동시에 추론하기 위해 이중 분지형 다중유사도 그래프 컨볼루션 네트워크(MSGCN)가 도입된다.
• MSGCN은 세그먼트 간 시각적 및 공간적 관계를 더 잘 포착하기 위해 다중유사도 메커니즘을 사용한다.
• 예측된 세그먼트 조합은 클러스터로 그룹화되고 최종 다각형 형태의 검출 결과로 융합된다.
• 다중 스케일 입력을 사용하여 세그먼트 품질과 검출 재현율을 향상시키며, 특히 장거리 또는 곡선형 텍스트에 유리하다.

실험 결과

연구 질문

• RQ1 그래프 기반 접근 방식을 통해 세그먼트 맥락을 모델링하면 비정상적이고 다중 방향의 장면 텍스트 검출 정확도가 향상되는가?
• RQ2 사각형 또는 문자 수준의 박스 대신 기울인 직사각형 세그먼트를 사용하면 장면 텍스트 검출 성능이 향상되는가?
• RQ3 외관과 기하학적 상관관계를 동시에 모델링하는 이중 분지형 GCN이 단일 모odal 방법보다 세그먼트 조합 예측 성능을 뛰어나게 하는가?
• RQ4 다양한 텍스트 형태와 방향을 가진 벤치마크에서 제안된 방법은 최신 기준 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ5 다중 스케일 입력이 장거리 또는 곡선형 텍스트 인스턴스 검출에 얼마나 기여하는가?

주요 결과

• ICDAR2015에서 PuzzleNet는 단일 스케일 입력으로 F-측정치 88.0%를 달성하며, 다중 스케일 입력을 사용하는 LOMO MS를 능가한다.
• MSRA-TD500에서 PuzzleNet는 F-측정치 85.8%를 기록하며 이는 이전 모든 방법보다 2.2% 높으며, 재현율 83.5%를 확보한다.
• SCUT-CTW1500에서 PuzzleNet는 단일 스케일 입력으로 F-측정치 84.4%, 다중 스케일 입력으로 84.9%를 기록하며 재현율을 86.5%까지 끌어올려 크게 향상시켰다.
• 절단 실험 결과, 국소 방향 인식 기능이 있는 직사각형 세그먼트가 사각형 박스(PuzzleNet-Square)보다 성능이 뛰어나 세그먼트 표현의 효과성을 입증한다.
• 다중 스케일 입력은 모든 데이터셋에서 재현율과 F-측정치를 향상시켜 장거리 및 곡선형 텍스트 검출에 유의미한 기여를 한다는 점을 확인한다.
• 시각화 결과, PuzzleNet는 곡선형이나 사다리형 텍스트에 대해서도 정확한 다각형 형태의 검출 결과를 생성함으로써 맥락 그래프 학습의 효과성을 확인한다.