[논문 리뷰] ReLaText: Exploiting Visual Relationships for Arbitrary-Shaped Scene Text Detection with Graph Convolutional Networks

Chixiang Ma, Lei Sun외 2명|arXiv (Cornell University)|2020. 03. 16.

Handwritten Text Recognition Techniques참고 문헌 83인용 수 4

한 줄 요약

ReLaText는 그래프 컬러네이션 네트워크(GCNs)를 사용하여 시각적 관계 검출로 텍스트 검출을 공식화함으로써, 텍스트 원소 간의 연결 관계를 예측하는 새로운 임의의 형태의 시나리오 텍스트 검출 방법을 제안한다. GCN를 통해 문자 간 및 라인 간 관계를 모델링함으로써, 이전 방법에 비해 곡선형 또는 비정규 간격의 텍스트 인스턴스에서 정확도를 크게 향상시키며, 다섯 가지 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

We introduce a new arbitrary-shaped text detection approach named ReLaText by formulating text detection as a visual relationship detection problem. To demonstrate the effectiveness of this new formulation, we start from using a "link" relationship to address the challenging text-line grouping problem firstly. The key idea is to decompose text detection into two subproblems, namely detection of text primitives and prediction of link relationships between nearby text primitive pairs. Specifically, an anchor-free region proposal network based text detector is first used to detect text primitives of different scales from different feature maps of a feature pyramid network, from which a text primitive graph is constructed by linking each pair of nearby text primitives detected from a same feature map with an edge. Then, a Graph Convolutional Network (GCN) based link relationship prediction module is used to prune wrongly-linked edges in the text primitive graph to generate a number of disjoint subgraphs, each representing a detected text instance. As GCN can effectively leverage context information to improve link prediction accuracy, our GCN based text-line grouping approach can achieve better text detection accuracy than previous text-line grouping methods, especially when dealing with text instances with large inter-character or very small inter-line spacings. Consequently, the proposed ReLaText achieves state-of-the-art performance on five public text detection benchmarks, namely RCTW-17, MSRA-TD500, Total-Text, CTW1500 and DAST1500.

연구 동기 및 목표

• 기존 방법이 여전히 어려움을 겪는 곡선형 또는 비정규 간격의 텍스트를 포함한 임의의 형태의 시나리오 텍스트 검출 문제를 해결하기 위해.
• 지역 연결성이나 히우리스틱 그룹화에 의존하는 대신, 검출된 텍스트 원소 간의 맥락적 관계를 모델링하여 텍스트 라인 그룹화의 강건성을 향상시키기 위해.
• 특히 GCNs를 통한 링크 예측을 포함한 시각적 관계 검출을 새로운 시나리오 텍스트 검출 패러다임으로 탐색하기 위해.
• 곡선형 및 고밀도로 포장된 텍스트 인스턴스를 포함한 복잡한 벤치마크에서 뛰어난 검출 정확도를 달성하기 위해.

제안 방법

• 앵커리스 영역 제안 네트워크가 기능 피라미드 네트워크의 특징 맵에서 다양한 척도의 텍스트 원소를 검출한다.
• 동일한 특징 맵에서 검출된 근접한 텍스트 원소들을 간선으로 연결하여 텍스트 원소 그래프를 구성한다.
• 텍스트 원소 쌍 간의 링크 관계를 예측하기 위해 그래프 컬러네이션 네트워크(GCN)를 사용하며, 이는 잘못된 연결을 효과적으로 제거한다.
• GCN는 그래프 전반의 맥락적 정보를 활용하여, 특히 문자 간 거리가 크거나 라인 간 거리가 작은 텍스트의 링크 예측 정확도를 향상시킨다.
• 링크 제거 후 형성된 분리된 부분 그래프는 검출된 텍스트 인스턴스를 나타내며, 이는 최종 바운딩 폴리곤 생성에 사용된다.
• 이 방법은 엔드 투 엔드로 훈련되며 다섯 가지 공개 벤치마크에서 평가되며, GCN 깊이 및 링크 예측 구성 요소에 대한 분석 실험도 수행된다.

실험 결과

연구 질문

• RQ1 특히 링크 예측을 포함한 시각적 관계 검출이, 임의의 형태의 시나리오 텍스트 검출에서 텍스트 라인 그룹화를 향상시키는 데 효과적으로 적용될 수 있는가?
• RQ2 기존의 8-이웃 연결성 및 연결 기반 그룹화 방법에 비해 GCN 기반 링크 예측은 정확도 및 강건성 측면에서 어떻게 비교되는가?
• RQ3 GCN를 통한 장거리 맥락적 관계 모델링이 곡선형 또는 비정규 간격의 텍스트 인스턴스에서 검출 성능 향상에 기여하는가?
• RQ4 정확도와 효율성의 균형을 고려할 때 링크 예측 모듈의 GCN 및 MLP 구성 요소에 최적의 아키텍처 깊이가 무엇인가?

주요 결과

• ReLaText는 다섯 가지 공개 벤치마크에서 최신 기술 성능을 달성한다: RCTW-17 (68.1% F-score), MSRA-TD500 (83.3% F-score), Total-Text (84.8% F-score), CTW1500 (84.8% F-score), DAST1500 (84.0% F-score).
• 이전의 관계 네트워크 접근 방식에 비해 GCN 기반 링크 예측 방법이 Total-Text에서 F-score를 1.0% 향상시켜 83.8% → 84.8%로 개선하였고, RCTW-17에서는 1.1% 향상시켜 67.0% → 68.1%로 개선하였다.
• 8-이웃 연결성 및 연결 기반 그룹화 방법에 비해 유의미하게 뛰어난 성능을 보였으며, CTW1500에서 각각 82.6% 및 82.7%의 F-score를 기록한 데 비해 ReLaText는 84.8%의 F-score를 기록하였다.
• 분석 실험 결과, GCN 깊이 3과 MLP 깊이 2가 성능과 효율성의 최적 균형을 이룹니다.
• ReLaText는 이전 방법이 종종 실패하는 큰 문자 간 거리 또는 매우 작은 라인 간 거리의 텍스트 인스턴스에 대해 뛰어난 강건성을 보였다.
• 실패 사례는 주로 모호한 레이아웃과 매우 작은 텍스트에 국한되며, 이는 대부분 최신 기술 방법에게도 여전히 도전 과제로 남아 있다.