[논문 리뷰] An end-to-end TextSpotter with Explicit Alignment and Attention

Tong He, Zhi Tian외 4명|arXiv (Cornell University)|2018. 03. 09.

Handwritten Text Recognition Techniques참고 문헌 28인용 수 31

한 줄 요약

이 논문은 새로운 텍스트 정렬 레이어와 문자 수준의 어텐션을 사용하여 자연 이미지 내 텍스트를 종합적으로 검출하고 인식하는 엔드 투 엔드 텍스트 스폿터를 제안한다. 공간적 문자 위치를 명시적으로 모델링하고 검출 및 인식 간 특징을 공유함으로써, ICDAR2015에서 기존 작업의 0.54에서 0.82(강력한 어휘 사전)로 F-측도를 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Text detection and recognition in natural images have long been considered as two separate tasks that are processed sequentially. Training of two tasks in a unified framework is non-trivial due to significant dif- ferences in optimisation difficulties. In this work, we present a conceptually simple yet efficient framework that simultaneously processes the two tasks in one shot. Our main contributions are three-fold: 1) we propose a novel text-alignment layer that allows it to precisely compute convolutional features of a text instance in ar- bitrary orientation, which is the key to boost the per- formance; 2) a character attention mechanism is introduced by using character spatial information as explicit supervision, leading to large improvements in recognition; 3) two technologies, together with a new RNN branch for word recognition, are integrated seamlessly into a single model which is end-to-end trainable. This allows the two tasks to work collaboratively by shar- ing convolutional features, which is critical to identify challenging text instances. Our model achieves impressive results in end-to-end recognition on the ICDAR2015 dataset, significantly advancing most recent results, with improvements of F-measure from (0.54, 0.51, 0.47) to (0.82, 0.77, 0.63), by using a strong, weak and generic lexicon respectively. Thanks to joint training, our method can also serve as a good detec- tor by achieving a new state-of-the-art detection performance on two datasets.

연구 동기 및 목표

• 다른 최적화 곤란도를 가진 검출 및 인식을 동시에 학습하는 데 어려움이 있음에도 불구하고, 단일 통합 프레임워크에서 함께 훈련하는 문제를 해결한다.
• 오류 전파 문제와 검출 및 인식 간 특징 공유 부족으로 인해 약화되는 순차적 파이프라인의 한계를 극복한다.
• 디코딩 중에 문자의 공간적 위치를 명시적으로 모델링하여 다중 방향성, 임의의 방향성 텍스트의 인식 정확도를 향상시킨다.
• 강력한 공간적 감독과 전용 정렬 메커니즘을 도입하여 안정적인 수렴을 보장하는 엔드 투 엔드 훈련을 가능하게 한다.
• 공동 최적화와 특징 공유를 통해 검출 및 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 임의의 방향성 텍스트 인스턴스에 대해 컨볼루션 특징을 명시적으로 계산하는 텍스트 정렬 레이어를 도입하여 배경 및 관련 없는 특징 간섭을 줄인다.
• 문자 위치의 명시적 공간 좌표를 감독으로 사용하여 RNN 디코딩 중 어텐션을 안내하는 문자 어텐션 메커니즘을 설계함으로써 정렬 정확도를 향상시키고 잘못된 인식을 줄인다.
• 검출 프레임워크(예: Faster R-CNN 방식)에 새로운 RNN 기반의 인식 브랜치를 통합하여 공유된 컨볼루션 특징을 사용하는 엔드 투 엔드 훈련을 가능하게 한다.
• 검출 및 인식 간 공유된 특징을 통한 공동 훈련을 적용하여 상호 개선 효과를 얻고 복잡한 배경 및 소형/기울어진 텍스트에 대한 강건성을 향상시킨다.
• 다중 해상도 추론과 어휘 기반 평가 프로토콜(강력, 약한, 일반)을 사용하여 일반화 능력과 강건성을 검증한다.
• 신뢰할 수 있는 성능 비교를 보장하기 위해 신호 데이터(VGG 합성 등)와 실재 데이터(ICDAR2015/2013)를 정교한 데이터 분할 및 평가 프로토콜로 활용한다.

실험 결과

연구 질문

• RQ1 공유된 특징을 통해 단일 통합 딥 러닝 프레임워크에서 검출 및 인식을 동시에 최적화할 수 있는가? 이는 양 측면의 성능 향상에 기여하는가?
• RQ2 문자 좌표를 통한 명시적 공간 감독이 엔드 투 엔드 텍스트 스폿팅에서 어텐션 기반 인식에 어떤 영향을 미치는가?
• RQ3 제안된 텍스트 정렬 레이어가 다중 방향성 텍스트 특징 처리에 있어 표준 RoI 풀링보다 얼마나 뛰어난가?
• RQ4 검출 및 인식의 공동 훈련이 오류 누적을 줄이고 도전적인 텍스트 인스턴스에 대한 강건성을 향상시키는가?
• RQ5 추론 시 외부 어휘 사전을 사용하지 않고도 검출 및 인식 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 텍스트 정렬 레이어는 ICDAR2015에서 표준 RoI 풀링 대비 인식 정확도를 60.7%에서 67.6%로 향상시켜 다중 방향성 텍스트에 대한 특징 추출 능력이 뛰어남을 입증한다.
• 명시적 공간 감독을 통한 문자 어텐션 메커니즘은 VGG 합성 데이터에서 95%의 문자 수준 정확도를 달성하여 기존의 어텐션 기반 모델(93%)을 초월한다.
• 공동 훈련은 ICDAR2015에서 강력한 어휘 사전 조건에서 검출 F-측도를 3%p 향상시켜 0.82로 끌어올리며, 동시에 인식 성능 향상도 이끌어낸다.
• 모델은 ICDAR2013 및 ICDAR2015에서 검출 성능이 최신 기술 수준을 달성하여 엔드 투 엔드 및 워드 스폿팅 프로토콜 모두에서 이전 방법을 능가한다.
• ICDAR2015에서 엔드 투 엔드 평가 조건 하에 F-측도는 강력 기준 0.82, 약한 기준 0.77, 일반 기준 0.63를 기록하여 이전 결과인 0.54, 0.77, 0.63를 크게 뛰어넘었다.
• 질적 결과를 통해 모델은 소형, 기울어진, 저대비 텍스트 인스턴스를 성공적으로 검출하고 인식함을 입증했다.