[논문 리뷰] A Simple and Robust Convolutional-Attention Network for Irregular Text Recognition.

Lü Yang, Peng Wang외 5명|arXiv (Cornell University)|2019. 04. 02.

Handwritten Text Recognition Techniques참고 문헌 44인용 수 40

한 줄 요약

이 논문은 2D CNN 특징을 직접 시퀀스 디코더에 매핑하는 자기주의 어텐션(self-attention)을 사용하는 단순하고 비반복적 컨볼루션-어텐션 네트워크를 제안한다. 이는 순서 변환 또는 RNN이 필요 없도록 하여, 불규칙한 시나리오 텍스트 인식을 수행한다. 이 모델은 단지 단어 수준의 애너테이션만을 사용함으로써 RNN 기반 방법 대비 1.7배에서 10배 빠른 훈련 및 추론을 달성하면서도 최신 기술 수준 또는 경쟁력 있는 성능을 기록한다.

ABSTRACT

Reading irregular scene text of arbitrary shape in natural images is still a challenging problem, despite the progress made recently. Many existing approaches incorporate sophisticated network structures to handle various shapes, use extra annotations for stronger supervision, or employ hard-to-train recurrent neural networks for sequence modeling. In this work, we propose a simple yet robust approach for scene text recognition. With no need to convert input images to sequence representations, we directly connect two-dimensional CNN features to an attention-based sequence decoder. As no recurrent module is adopted, our model can be trained in parallel. It achieves 1.7x to 10x acceleration to backward pass and 1.4x to 9x acceleration to forward pass, compared with the RNN counterparts. The proposed model is trained with only word-level annotations. With this simple design, our method achieves state-of-the-art or competitive recognition performance on the evaluated regular and irregular scene text benchmark datasets.

연구 동기 및 목표

• 자연적 경로 이미지 내에서 불규칙한 형태의 텍스트를 인식하는 과제를 해결하기 위해.
• 복잡한 네트워크 아키텍처나 순서-순서 변환의 필요성을 제거하기 위해.
• 느리고 훈련이 어려운 순환 신경망(RNN)을 사용하지 않기 위해.
• 비용이 많이 드는 인스턴스 수준 또는 순서 수준의 감독을 피하기 위해 단어 수준의 애너테이션만으로도 높은 성능을 달성하기 위해.
• 정확성과 효율성을 동시에 확보하여 더 빠른 훈련 및 추론을 가능하게 하기 위해.

제안 방법

• 모델은 입력 이미지에서 공간적 특징을 추출하기 위해 2D 컨볼루션 신경망(CNN)을 사용한다.
• 2D CNN 특징을 평탄화하거나 순서 변환 없이, 트랜스포머 스타일의 자기주의 어텐션 디코더에 직접 연결한다.
• 어텐션 메커니즘은 순서 생성을 위해 관련된 공간 영역에 주의를 기울일 수 있도록 한다.
• 디코더는 단어 수준의 애너테이션만을 사용하여 엔트로피 손실을 기반으로 엔드 투 엔드로 훈련된다.
• RNN이 없기 때문에 전방 및 역방향 전파 모두에서 완전한 병렬 처리가 가능하다.
• CRF나 인코더에 어텐션 메커니즘을 적용하는 등 복잡한 구성 요소가 없는 간단한 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 순서 변환 없이도 순서 없는 어텐션 기반 디코더가 불규칙한 시나리오 텍스트 인식에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 동일한 감독 수준에서 RNN 기반 모델과 비교해 훈련 및 추론 속도는 어떻게 되는가?
• RQ3 단어 수준의 애너테이션만으로 훈련된 모델이 더 강력한 감독을 사용한 방법의 성능을 따라잡거나 초월할 수 있는가?
• RQ4 2D 특징에서 시퀀스 출력으로의 직접 매핑이 불규칙한 텍스트 형태에 대한 강인성을 향상시키는가?
• RQ5 불규칙한 텍스트 환경에서 모델의 단순성과 인식 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 모델은 정규 및 불규칙한 시나리오 텍스트 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.
• RNN 기반 모델 대비 역방향 전파에서 1.7배에서 10배, 전방 전파에서 1.4배에서 9배의 속도 향상을 기록한다.
• 모델은 인스턴스 수준 또는 순서 수준의 애너테이션 없이 단어 수준의 애너테이션만으로 훈련된다.
• RNN이 없기 때문에 완전한 병렬 처리가 가능하여 훈련 및 추론 시간이 크게 감소한다.
• 복잡한 아키텍처 구성 요소 없이도 임의의 형태의 텍스트에 대해 강력한 강인성을 보여준다.
• 간단한 CNN-어텐션 아키텍처가 더 복잡한 RNN 기반 모델보다 속도와 정확도 측면에서 뛰어난 성능을 낼 수 있음을 확인한다.