[논문 리뷰] SCAN: Sliding Convolutional Attention Network for Scene Text Recognition

Yichao Wu, Fei Yin외 3명|arXiv (Cornell University)|2018. 06. 02.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 18

한 줄 요약

이 논문은 인간의 독서 방식을 모방하는 번갈아가며 눈을 움직이기(사카데)하고 정지시키는 방식을 취하는 슬라이딩 컨volutional 어텐션 네트워크인 SCAN을 제안한다. 국소화된 어텐션을 갖춘 완전 컨volutional, 병렬 처리 가능한 아키텍처를 사용함으로써, IIIT5k, SVT, ICDAR 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 순환 모델 대비 모델의 해석 가능성도 향상시킨다.

ABSTRACT

Scene text recognition has drawn great attentions in the community of computer vision and artificial intelligence due to its challenges and wide applications. State-of-the-art recurrent neural networks (RNN) based models map an input sequence to a variable length output sequence, but are usually applied in a black box manner and lack of transparency for further improvement, and the maintaining of the entire past hidden states prevents parallel computation in a sequence. In this paper, we investigate the intrinsic characteristics of text recognition, and inspired by human cognition mechanisms in reading texts, we propose a scene text recognition method with sliding convolutional attention network (SCAN). Similar to the eye movement during reading, the process of SCAN can be viewed as an alternation between saccades and visual fixations. Compared to the previous recurrent models, computations over all elements of SCAN can be fully parallelized during training. Experimental results on several challenging benchmarks, including the IIIT5k, SVT and ICDAR 2003/2013 datasets, demonstrate the superiority of SCAN over state-of-the-art methods in terms of both the model interpretability and performance.

연구 동기 및 목표

• 순차적 계산으로 인해 느린 훈련 속도와 낮은 해석 가능성 등의 문제를 야기하는 순환 신경망(RNN) 기반 모델의 한계를 해결하기 위해.
• 구분되는 사카데 운동과 텍스트 요소에 대한 시각적 정지 행동을 반영하여 인간 독서 메커니즘을 더 잘 반영하는 모델을 개발하기 위해.
• 병렬 훈련이 가능하고 최적화 및 추론 효율성을 향상시키는 완전 컨볼루션 아키텍처를 만들기 위해.
• 세그멘테이션이나 블랙박스 어텐션에 의존하지 않고 개별 문자에 대한 어텐션을 국소화함으로써 모델의 해석 가능성을 향상시키기 위해.
• 표준 스트리트 텍스트 인식 벤치마크에서 최신 기술 수준의 성능를 달성하면서도 투명성과 향후 개선의 유연성을 유지하기 위해.

제안 방법

• SCAN은 입력 특징 맵 위에 슬라이딩 윈도우 메커니즘을 적용하며, 각 윈도우는 독서 중 잠재적인 정지 지점에 해당한다.
• 모델은 각 슬라이딩 윈도우에서 특징을 추출하기 위해 컨볼루션 레이어를 사용하여 파라미터 공유와 공간 불변성을 달성한다.
• 완전 컨볼루션 네트워크를 사용해 윈도우 특징의 시퀀스를 처리하는 시퀀스 학습 모듈은 훈련 중에 모든 윈도우에 대해 병렬 계산을 가능하게 한다.
• 각 윈도우별로 어텐션 웨이트를 계산하여 관련 있는 텍스트 영역에 동적으로 집중하며, 어텐션 히트맵에서 문자 간 명확한 간격이 보인다.
• 모델는 CTC 손실을 사용해 엔드 투 엔드로 훈련되며, 특징 추출과 시퀀스 디코딩의 공동 최적화를 가능하게 한다.
• 모델은 어휘 없음 및 어휘 제약이 있는 추론을 모두 지원하며, 정확도 향상을 위한 후처리 기능을 포함한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 모델에 국소화된 어텐션 메커니즘을 적용하면, 순환 모델 대비 병렬 훈련이 가능하면서도 스트리트 텍스트 인식에서 성능이 뛰어나게 될 수 있는가?
• RQ2 사카데와 정지 시각을 통해 인간 독서 행동을 모방하면, 스트리트 텍스트 인식에서 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ3 슬라이딩 윈도우 접근 방식과 컨볼루션 시퀀스 학습이 복잡한 후처리 없이 비정규적이고 굴절된 텍스트를 효과적으로 처리할 수 있는가?
• RQ4 SCAN의 어텐션 메커니즘이 개별 문자에 얼마나 정확하게 국소화되는가? 그리고 순환 어텐션 모델보다 더 나은 경계 국소화 성능을 달성할 수 있는가?
• RQ5 다양한 벤치마크에서 정확도, 훈련 속도, 모델 투명성 측면에서 SCAN은 최신 기술 수준의 방법들과 비교해 어떻게 성능를 발휘하는가?

주요 결과

• SCAN은 IIIT5k 데이터셋에서 99.1%의 정확도를 달성하여 이전 최신 기술 수준(SOTA)보다 약 1% 높은 성능를 기록했다.
• SVT 데이터셋에서 SCAN은 98.3%의 정확도를 기록하여 이전 SOTA인 CRNN 모델을 2.3% 뛰어넘었다.
• ICDAR 2013 테스트 세트에서 SCAN은 92.1%의 정확도를 기록하여 비교 표에 나열된 모든 방법들 중에서 1위를 차지했다.
• 어텐션 히트맵은 문자 간 명확한 간격을 보이며, 모델가 개별 문자 영역에 높은 정밀도로 어텐션을 국소화할 수 있음을 시사한다.
• Cheng 등(2018)이 사용한 400만 장의 추가 픽셀 수준 레이블링된 이미지와 비교해도, SCAN은 더 적은 훈련 데이터로도 뛰어난 성능를 발휘했다.
• 모든 벤치마크에서 평균 순위가 가장 높아, 이전 방법들에 비해 일관된 슈퍼리어리티를 입증했다.