[논문 리뷰] Reading Scene Text with Attention Convolutional Sequence Modeling

Yunze Gao, Yingying Chen외 2명|arXiv (Cornell University)|2017. 09. 13.

Handwritten Text Recognition Techniques참고 문헌 33인용 수 54

한 줄 요약

이 논문은 RNN 없이 시퀀스 모델링을 위한 스택드 CNN을 활용한 엔드 투 엔드 어텐션 합성곱 신경망을 제안하고, 잔차 어텐션을 통해 표준 벤치마크에서 lexicon-free 및 lexicon-based 설정 모두에서 경쟁력 있거나 최첨단 성과를 달성한다.

ABSTRACT

Reading text in the wild is a challenging task in the field of computer vision. Existing approaches mainly adopted Connectionist Temporal Classification (CTC) or Attention models based on Recurrent Neural Network (RNN), which is computationally expensive and hard to train. In this paper, we present an end-to-end Attention Convolutional Network for scene text recognition. Firstly, instead of RNN, we adopt the stacked convolutional layers to effectively capture the contextual dependencies of the input sequence, which is characterized by lower computational complexity and easier parallel computation. Compared to the chain structure of recurrent networks, the Convolutional Neural Network (CNN) provides a natural way to capture long-term dependencies between elements, which is 9 times faster than Bidirectional Long Short-Term Memory (BLSTM). Furthermore, in order to enhance the representation of foreground text and suppress the background noise, we incorporate the residual attention modules into a small densely connected network to improve the discriminability of CNN features. We validate the performance of our approach on the standard benchmarks, including the Street View Text, IIIT5K and ICDAR datasets. As a result, state-of-the-art or highly-competitive performance and efficiency show the superiority of the proposed approach.

연구 동기 및 목표

• 자연스러운 장면에서의 장면 텍스트 인식 효율성과 정확성 문제를 동기화하고 해결한다.
• 재발(rnn) 기반의 순서 모델링을 대체할 수 있는 완전 합성곱 아키텍처를 제안하여 더 빠르고 병렬처리가 가능하도록 한다.
• 배경 노이즈를 억제하고 전경 텍스트 특징을 강화하기 위해 잔차 어텐션을 촘촘히 연결된 인코더에 도입한다.
• 미리 분할된 문자나 고정된 사전에 의존하지 않고 단어 수준 주석으로 엔드투엔드 학습이 가능하도록 한다.

제안 방법

• 잎새의
• dense blocks with residual attention를 기반으로 한 주의 특징 인코더를 도입하여 단어 이미지로부터 강건한 특징 시퀀스를 생성한다.
• 특징 시퀀스를 2D 맵으로 변환(sequence-to-map)하고 재발 없이 맥락 의존성을 모델링하기 위해 스택드 합성곱 층을 적용한다.
• CNN 출력물을 다시 시퀀스로 복원(map-to-sequence)하고 선형 계층을 적용하여 프레임 단위 레이블 분포를 얻는다.
• Connectionist Temporal Classification (CTC)를 사용하여 프레임 단위 분포를 최종 단어 시퀀스로 변환하고 lexicon-free 및 lexicon-based 디코딩을 가능하게 한다.
• CTC 하의 음수 로그 가능도 목적함수로 단어 수준 주석을 사용하여 엔드-투-엔드로 학습한다.
• CNN 기반 시퀀스 모델링이 BLSTM보다 약 9배 빠르고 파라미터 수가 적다는 점에서 효율성 향상을 보여주면서도 경쟁력 있는 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 RNN 없이 컨볼루션 기반 시퀀스 모델링 접근법이 계산 효율성을 제공하면서 장면 텍스트의 인식 정확도에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 잔차 어텐션을 촘촘히 연결된 인코더에 도입하면 전경 텍스트 표현을 개선하고 장면 텍스트 이미지의 배경 노이즈를 억제하는가?
• RQ3 단어 수준 주석으로의 엔드-투-엔드 학습이 lexicon-free 및 lexicon-based 장면 텍스트 인식 모두에 대해 실현 가능하고 효과적인가?
• RQ4 제안된 어텐션 합성곱 네트워크가 SVT, IIIT5K, ICDAR 벤치마크에서 다양한 사전 설정하에 최첨단 방법들과 어떻게 비교되는가?

주요 결과

방법	SVT-50	SVT	IIIT5k-50	IIIT5k-1k	IIIT5k	IC03-50	IC03-Full	IC03	IC13
Ours	97.4	82.7	99.1	97.9	81.8	98.7	96.7	89.2	88.0

• SVT, IIIT5k, IC03, IC13에서 경쟁력 또는 최첨단 수준의 결과를 달성하며, lexicon-free 성능이 강력하다.
• CNN 기반 시퀀스 모델링이 BLSTM보다 약 9배 빠르고 파라미터가 더 적게 필요하다는 것을 보여준다.
• 잔차 어텐션 모듈이 인식 정확도를 향상시키며 특히 노이즈가 많은 데이터셋(SVT, IIIT5k)에서 효과가 크다.
• IIIT5k의 1000단어 사전 설정에서 특히 lexicon 기반 설정에서 여러 선행 방법들보다 우수한 성능을 보인다.
• 모델은 공간 왜곡에 강건하며 명시적인 텍스트 정정 구성요소에 의존하지 않는다.