[논문 리뷰] CentripetalText: An Efficient Text Instance Representation for Scene Text Detection

Tao Sheng, Jie Chen외 1명|arXiv (Cornell University)|2021. 07. 13.

Handwritten Text Recognition Techniques참고 문헌 47인용 수 16

한 줄 요약

이 논문은 CentripetalText(CT)를 제안하며, 임의의 모양을 가진 텍스트를 텍스트 커널과 중심 방향 이동으로 분해함으로써 빠르고 정확하며 강건한 시나리오 텍스트 검출을 가능하게 하는 새로운 텍스트 인스턴스 표현 방식을 개발한다. 중심 방향 이동에 대해 유연한 회귀를 사용하고 OpenCV 연산을 통한 효율적인 재구성 방식을 통해 CT는 실시간 추론 속도를 유지하면서도 Total-Text와 MSRA-TD500에서 기존 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성하며, 종단 간 인식을 위한 더 정확한 제안 네트워크(CPN)를 제공한다.

ABSTRACT

Scene text detection remains a grand challenge due to the variation in text curvatures, orientations, and aspect ratios. One of the hardest problems in this task is how to represent text instances of arbitrary shapes. Although many methods have been proposed to model irregular texts in a flexible manner, most of them lose simplicity and robustness. Their complicated post-processings and the regression under Dirac delta distribution undermine the detection performance and the generalization ability. In this paper, we propose an efficient text instance representation named CentripetalText (CT), which decomposes text instances into the combination of text kernels and centripetal shifts. Specifically, we utilize the centripetal shifts to implement pixel aggregation, guiding the external text pixels to the internal text kernels. The relaxation operation is integrated into the dense regression for centripetal shifts, allowing the correct prediction in a range instead of a specific value. The convenient reconstruction of text contours and the tolerance of prediction errors in our method guarantee the high detection accuracy and the fast inference speed, respectively. Besides, we shrink our text detector into a proposal generation module, namely CentripetalText Proposal Network, replacing Segmentation Proposal Network in Mask TextSpotter v3 and producing more accurate proposals. To validate the effectiveness of our method, we conduct experiments on several commonly used scene text benchmarks, including both curved and multi-oriented text datasets. For the task of scene text detection, our approach achieves superior or competitive performance compared to other existing methods, e.g., F-measure of 86.3% at 40.0 FPS on Total-Text, F-measure of 86.1% at 34.8 FPS on MSRA-TD500, etc. For the task of end-to-end scene text recognition, our method outperforms Mask TextSpotter v3 by 1.1% on Total-Text.

연구 동기 및 목표

• 자연 환경의 임의의 모양, 굽은 선, 다중 방향 텍스트 인스턴스를 표현하는 데 도전하는 것.
• 기존의 구성 요소 기반 방법의 한계를 극복하는 것 — 즉, Dirac delta 회귀로 인한 느린 추론 및 예측 오차에 대한 민감성.
• 유연한 회귀와 효율적인 후처리를 통해 빠른 추론과 높은 정확도를 동시에 확보할 수 있는 단순하면서도 강건한 텍스트 표현 방식을 설계하는 것.
• 종단 간 인식 성능을 향상시키기 위해 더 날카롭고 정확한 텍스트 제안을 생성하는 제안 생성 모듈(CPN)을 개발하는 것.

제안 방법

• 텍스트 인스턴스는 텍스트 커널(골격)과 외부 픽셀을 커널 쪽으로 이동시키는 중심 방향 이동 지도의 조합으로 표현된다.
• 텍스트 커널은 확률 맵의 이진화 및 연결 성분 분석을 통해 확보된다.
• 중심 방향 이동은 새로운 유연한 L1 손실을 통해 조밀하게 회귀되며, 정확한 값이 아니라 범위 내의 예측이 허용된다.
• 효율적인 행렬 연산과 OpenCV 함수를 사용해 각 픽셀을 예측된 중심 방향 벡터를 따라 가장 가까운 커널로 이동시킴으로써 텍스트 인스턴스로 그룹화된다.
• 이 방법은 예측 오차에 대해 높은 내성성을 지닌 고속의 텍스트 윤곽 재구성을 가능하게 하여 강건성과 추론 속도를 향상시킨다.
• Mask TextSpotter v3의 SPN을 대체하여 새로운 제안 네트워크인 CentripetalText 제안 네트워크(CPN)를 설계함으로써 종단 간 인식을 위한 제안 품질을 향상시켰다.

실험 결과

연구 질문

• RQ1 자연 환경의 임의의 모양, 굽은 선, 다중 방향 텍스트에 대해 단순하면서도 강건한 텍스트 인스턴스 표현 방식을 어떻게 설계할 수 있는가?
• RQ2 엄격한 Dirac delta 회귀 대비 중심 방향 이동에 대해 유연한 회귀를 적용하면 탐지 강건성과 일반화 능력이 향상되는가?
• RQ3 제안된 CentripetalText 표현 방식은 정확도를 유지하거나 향상시키면서도 더 빠른 추론 속도를 달성할 수 있는가?
• RQ4 CPN 기반의 제안 생성 모듈은 종단 간 텍스트 스포팅 작업에서 SPN을 능가할 수 있는가?
• RQ5 이 방법은 다양한 벤치마크에서 다양한 텍스트 형태와 방향을 포함해 어떻게 일반화되는가?

주요 결과

• Total-Text에서 제안된 방법은 40.0 FPS에서 F-측정값 86.3%를 달성하여 DB와 PAN을 능가하며 실시간 속도를 유지한다.
• MSRA-TD500에서 제안된 방법은 SynthText에서 사전 훈련한 후 34.8 FPS에서 F-측정값 86.1%를 기록하며, PAN을 4.1% 초과하여 뛰어넘는다.
• CPN 기반 종단 간 텍스트 스포팅 시스템은 Total-Text에서 어휘 사전 없이 71.9% F-측정값, 전체 어휘 사전 사용 시 79.5% F-측정값을 기록하여 Mask TextSpotter v3보다 F-측정값 1.1% 높게 달성한다.
• 정성적 결과에서는 CPN이 SPN보다 더 날카운 다각형 마스크를 생성함으로써 인식을 위한 제안 품질이 뛰어나다는 것을 보여준다.
• 외부 훈련 데이터를 사용한 CTW1500에서 경쟁적인 성능(>40 FPS에서 F-측정값 83.9%)을 기록하며, 모든 방법 중 두 번째로 높은 순위를 기록한다.
• 유연한 L1 손실은 중심 방향 이동 예측 오차에 대한 강건성을 향상시킨다. 정확한 값이 아니라 범위 내 예측이 긍정으로 간주되기 때문에 일반화 능력이 향상된다.