[논문 리뷰] Single Shot TextSpotter with Explicit Alignment and Attention

Tong He, Zhi Tian외 4명|arXiv (Cornell University)|2018. 03. 09.

Handwritten Text Recognition Techniques인용 수 3

한 줄 요약

이 논문은 명시적인 텍스트 정렬 레이어와 문자 수준의 어텐션을 사용하여 자연 이미지 내의 텍스트를 동시에 검출하고 인식하는 단일 스풍 텍스트 스폿팅 프레임워크를 제안한다. 검출 및 인식 작업 간에 공유되는 특징을 종단 간 훈련 가능한 모델을 통해 공유함으로써, ICDAR2015에서 최신 기술 수준 성능을 달성하며, 강력한 어휘를 사용할 경우 F-측정값을 0.54에서 0.82로 향상시킨다.

ABSTRACT

Text detection and recognition in natural images have long been considered as two separate tasks that are processed sequentially. Training of two tasks in a unified framework is non-trivial due to significant dif- ferences in optimisation difficulties. In this work, we present a conceptually simple yet efficient framework that simultaneously processes the two tasks in one shot. Our main contributions are three-fold: 1) we propose a novel text-alignment layer that allows it to precisely compute convolutional features of a text instance in ar- bitrary orientation, which is the key to boost the per- formance; 2) a character attention mechanism is introduced by using character spatial information as explicit supervision, leading to large improvements in recognition; 3) two technologies, together with a new RNN branch for word recognition, are integrated seamlessly into a single model which is end-to-end trainable. This allows the two tasks to work collaboratively by shar- ing convolutional features, which is critical to identify challenging text instances. Our model achieves impressive results in end-to-end recognition on the ICDAR2015 dataset, significantly advancing most recent results, with improvements of F-measure from (0.54, 0.51, 0.47) to (0.82, 0.77, 0.63), by using a strong, weak and generic lexicon respectively. Thanks to joint training, our method can also serve as a good detec- tor by achieving a new state-of-the-art detection performance on two datasets.

연구 동기 및 목표

• 텍스트 검출과 인식을 하나의 종단 간 훈련 가능한 프레임워크로 통합하기 위해.
• 기본적으로 다른 두 가지 작업을 동시에 최적화하는 과제를 해결하기 위해.
• 어텐션을 통한 문자의 공간적 위치에 대한 명시적 감독을 통해 인식 정확도를 향상시키기 위해.
• 검출 및 인식 브랜치 간의 협동 학습을 통해 검출 성능을 향상시키기 위해.
• 새로운 정렬 레이어를 사용하여 임의의 방향을 가진 텍스트에 대해 정밀한 특징 추출을 가능하게 하기 위해.

제안 방법

• 임의의 방향에서 텍스트 인스턴스의 컨볼루션 특징을 계산하기 위해 새로운 텍스트 정렬 레이어를 도입한다.
• 문자 공간 정보를 문자 어텐션 메커니즘에서 명시적 감독으로 사용하여 인식 성능을 향상시킨다.
• 단어 수준의 인식을 위해 새로운 RNN 브랜치를 모델에 통합한다.
• 검출 및 인식 브랜치가 공유된 컨볼루션 특징을 공유함으로써 협동 학습을 가능하게 한다.
• 전체 모델가 종단 간 훈련되어 검출 및 인식의 공동 최적화를 허용한다.
• 정렬, 어텐션, RNN 기반 인식을 하나의 추론 파이프라인에 원활하게 통합하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 텍스트 검출과 인식의 공동 훈련이 두 작업의 성능을 향상시킬 수 있는가?
• RQ2 문자 공간 어텐션을 통한 명시적 감독이 인식 정확도에 어떤 영향을 미치는가?
• RQ3 텍스트 정렬 레이어가 임의의 방향을 가진 텍스트에서 성능 향상에 얼마나 기여하는가?
• RQ4 통합된 단일 스풍 모델이 순차적 또는 이단계적 접근 방식을 능가할 수 있는가?
• RQ5 검출 및 인식 간 공유된 특징 학습이 과도한 텍스트 인스턴스에서 더 나은 일반화를 이끌어낼 수 있는가?

주요 결과

• 강력한 어휘를 사용할 경우 ICDAR2015에서 F-측정값이 0.82를 기록하며, 이는 이전 최신 기술 수준인 0.54보다 크게 향상된 성능이다.
• 약한 어휘를 사용할 경우 F-측정값이 0.77에 도달하며, 이는 이전 연구에서의 0.51보다 향상된 성능이다.
• 일반 어휘를 사용할 경우 F-측정값은 0.47에서 0.63으로 향상되어 다양한 어휘 유형에 대한 강건성을 입증한다.
• 공동 훈련 덕분에 두 벤치마크 데이터셋에서 검출 성능이 새로운 최신 기술 수준을 기록한다.
• 명시적 정렬과 문자 어텐션의 통합은 특히 과도한 텍스트 인스턴스에서 인식 정확도에 상당한 향상을 이끌어낸다.