[논문 리뷰] Geometry Normalization Networks for Accurate Scene Text Detection

Youjiang Xu, Jiaqi Duan외 5명|arXiv (Cornell University)|2019. 09. 02.

Handwritten Text Recognition Techniques참고 문헌 39인용 수 11

한 줄 요약

이 논문은 기하학적 정규화 모듈(GNM)을 갖춘 다중 분지 기반 기하학적 정규화 네트워크(GNNets)를 제안한다. 이는 스케일 및 방향 정규화 유닛을 통해 텍스트 인스턴스를 표준 기하학 범위로 정규화함으로써 시나리오 텍스트 검출 성능을 향상시킨다. 제안된 방법은 한 번의 순방향 추론만으로 ICDAR 2015에서 88.52의 F-스코어, ICDAR 2017 MLT에서 74.54의 F-스코어를 기록하며 기존 방법들보다 회전 기반 벤치마크에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Large geometry (e.g., orientation) variances are the key challenges in the scene text detection. In this work, we first conduct experiments to investigate the capacity of networks for learning geometry variances on detecting scene texts, and find that networks can handle only limited text geometry variances. Then, we put forward a novel Geometry Normalization Module (GNM) with multiple branches, each of which is composed of one Scale Normalization Unit and one Orientation Normalization Unit, to normalize each text instance to one desired canonical geometry range through at least one branch. The GNM is general and readily plugged into existing convolutional neural network based text detectors to construct end-to-end Geometry Normalization Networks (GNNets). Moreover, we propose a geometry-aware training scheme to effectively train the GNNets by sampling and augmenting text instances from a uniform geometry variance distribution. Finally, experiments on popular benchmarks of ICDAR 2015 and ICDAR 2017 MLT validate that our method outperforms all the state-of-the-art approaches remarkably by obtaining one-forward test F-scores of 88.52 and 74.54 respectively.

연구 동기 및 목표

• 시나리오 텍스트 검출에서 크기 및 방향과 같은 큰 기하학적 변동성이 CNN 기반 검출기의 성능을 저하시키는 문제를 해결하기 위해.
• 통제된 실험을 통해 기존 네트워크가 광범위한 기하학적 변동성을 다루는 데에 한계가 있음을 탐구하기 위해.
• 텍스트 인스턴스를 표준 기하학적 범위로 정규화하여 검출의 강인성을 향상시키는 일반화 가능하고 플러그인 방식의 모듈을 개발하기 위해.
• 모든 정규화 분지 간에 균형 잡힌 학습을 보장하기 위해 기하학적 인식 학습 전략을 설계하기 위해.
• 특히 큰 방향 변동성 하에서 표준 벤치마크에서 최신 성능을 달성하기 위해.

제안 방법

• 각기 다른 스케일 및 방향 정규화 유닛을 포함한 다중 병렬 분지로 구성된 기하학적 정규화 모듈(GNM)을 제안하며, 이는 텍스트 특징을 표준 기하학 공간으로 변환한다.
• 각 SNU는 다양한 스케일 요소(예: S 및 S₁/₂)를 사용해 스케일 정규화를 적용하고, 각 ONU는 다양한 회전 유형(예: O, Or, Of, Or+f)을 사용해 회전 정규화를 수행한다.
• GNM는 다수의 기하학적 정규화 특징 맵을 생성하며, 이를 단일 공유 텍스트 검출 헤드에 입력하여 엔드 투 엔드 학습 및 추론을 수행한다.
• 모든 분지 간에 균형 잡힌 기울기 업데이트를 확보하기 위해 기하학적 변동성의 균일한 분포에서 텍스트 인스턴스를 샘플링하고 증강하는 기하학적 인식 학습 기법을 도입한다.
• 훈련 중 다양한 방향과 스케일을 시뮬레이션하기 위해 데이터 증강 기법을 활용하여 GNM 분지의 일반화 및 안정성을 향상시킨다.
• 이 프레임워크는 기존의 CNN 기반 검출기와 호환되며, EAST 및 PSENet 등의 모델에 쉽게 통합되어 GNNets를 구성할 수 있다.

실험 결과

연구 질문

• RQ1 표준 CNN 기반 검출기가 시나리오 텍스트 검출에서 큰 기하학적 변동성을 가진 훈련 데이터로부터 효과적으로 학습할 수 있는가?
• RQ2 기하학적 변동성(특히 방향)이 기존 시나리오 텍스트 검출기의 성능에 얼마나 큰 영향을 미치는가?
• RQ3 다중 분지 정규화 모듈이 텍스트 특징을 표준 공간으로 변환함으로써 기하학적 변동성의 영향을 효과적으로 줄일 수 있는가?
• RQ4 기하학적 분포에 걸쳐 균형 잡힌 샘플링을 수행하는 기하학적 인식 학습 전략이 정규화 분지의 일반화 성능 향상에 기여하는가?
• RQ5 제안된 GNNets는 표준 및 회전 기반 시나리오 텍스트 벤치마크에서 최신 성능을 달성할 수 있는가?

주요 결과

• 제안된 GNNets는 한 번의 순방향 추론만으로 ICDAR 2015에서 F-스코어 88.52, ICDAR 2017 MLT에서 F-스코어 74.54를 기록하며, 이는 모든 이전 최신 기술을 초월한다.
• 회전된 ICDAR 2015 벤치마크에서 GNNets는 EAST 기준 3배의 성능 향상을 기록하며, 큰 방향 변동성에 대한 강력한 강인성을 입증했다.
• 원본 PSENet 대비 GNNets는 ICDAR 2015에서 F-스코어 1.3% 향상, ICDAR 2017 MLT에서 2.1% 향상되었으며, 이는 오직 검출 어노테이션과 한 번의 순방향 추론만을 사용한 점을 감안할 때 놀라운 성능 향상이다.
• FOTS는 검출 및 인식 어노테이션을 모두 사용해 훈련하지만, GNNets는 ICDAR 2015에서 0.6% 향상, ICDAR 2017 MLT에서 7.3% 향상되어 더 뛰어난 성능을 보였다.
• ICDAR 2017 MLT에서 Pixel-Anchor 대비 6.4%의 성능 향상을 기록하여, 복잡한 기하학적 특성을 다루는 데서의 효과성을 입증했다.
• 정성적 결과는 GNNets가 극단적인 방향과 스케일을 가진 텍스트 인스턴스를 성공적으로 검출함으로써 기하학적 정규화 전략의 효과성을 확인했다.