[논문 리뷰] Scene Text Recognition from Two-Dimensional Perspective

Minghui Liao, Jian Zhang외 6명|arXiv (Cornell University)|2018. 09. 18.

Handwritten Text Recognition Techniques참고 문헌 41인용 수 36

한 줄 요약

이 논문은 문자 수준의 주의 메커니즘을 갖춘 2차원 영역의 텍스트 인식 모델인 문자 주의 완전 컨volution 네트워크(CA-FCN)를 제안한다. 이 모델은 의미 분할 프레임워크를 기반으로 하여 픽셀 단위로 문자를 예측한다. 일련의 1차원 시퀀스 기반 방법과는 달리, CA-FCN은 임의의 형태를 가진 텍스트를 직접 처리하며, 특히 비정형 텍스트에서 최신 기술 수준의 성능을 달성하고, 정확도가 떨어지는 텍스트 검출 바운딩 박스에 대해 뛰어난 내구성을 보인다.

ABSTRACT

Inspired by speech recognition, recent state-of-the-art algorithms mostly consider scene text recognition as a sequence prediction problem. Though achieving excellent performance, these methods usually neglect an important fact that text in images are actually distributed in two-dimensional space. It is a nature quite different from that of speech, which is essentially a one-dimensional signal. In principle, directly compressing features of text into a one-dimensional form may lose useful information and introduce extra noise. In this paper, we approach scene text recognition from a two-dimensional perspective. A simple yet effective model, called Character Attention Fully Convolutional Network (CA-FCN), is devised for recognizing the text of arbitrary shapes. Scene text recognition is realized with a semantic segmentation network, where an attention mechanism for characters is adopted. Combined with a word formation module, CA-FCN can simultaneously recognize the script and predict the position of each character. Experiments demonstrate that the proposed algorithm outperforms previous methods on both regular and irregular text datasets. Moreover, it is proven to be more robust to imprecise localizations in the text detection phase, which are very common in practice.

연구 동기 및 목표

• 장면 텍스트 인식에서 1차원 순차 기반 접근 방식의 한계를 해결하기 위해, 이미지 내 텍스트의 진정한 2차원 공간 분포를 고려하지 못하는 문제를 해결한다.
• 기존 방법이 1D 시퀀스로 특징을 압축함으로써 어려움을 겪는 비정형 및 굽은 텍스트에서의 인식 성능을 향상시키기 위해 노력한다.
• 검출 단계에서 발생하는 정확도가 떨어지는 텍스트 위치 지정 문제에 대해 내구성을 향상시키기 위해 노력한다. 이는 이전 연구에서 자주 간과되는 실제 세계의 과제이다.
• 정규화나 복잡한 후처리가 필요 없이도 임의의 텍스트 형태를 자연스럽게 처리할 수 있는 방법을 개발한다.
• 학습 가능한 단어 형성 모듈을 통해 문자 클래스와 공간 위치를 동시에 예측하는 엔드 투 엔드 인식을 가능하게 한다.

제안 방법

• CA-FCN는 입력 이미지에서 다중 척도 특징을 추출하기 위해 VGG-16 백본을 사용하는 완전 컨volution 네트워크를 사용한다.
• 각 공간 위치에 문자 수준의 주의 메커니즘이 적용되어 개별 문자의 특징 표현을 개선함으로써 정렬 및 분류 성능을 향상시킨다.
• 모델은 픽셀 단위의 문자 분류를 수행하며, 텍스트 인식을 1D 순차 생성이 아닌 2D 공간에서의 의미 분할 작업으로 간주한다.
• 단어 형성 모듈은 동일한 클래스에 속하는 공간적으로 인접한 문자들을 조합하여 단어를 재구성한다.
• 왜곡된 형태의 텍스트에 대한 특징 표현을 향상시키기 위해 가변적 수신장 영역을 갖는 변형 가능 컨볼루션 레이어를 통합한다.
• 실제 데이터셋에서 수동 레이블링이 필요 없도록, 합성 데이터에서의 문자 수준의 애너테이션을 사용하여 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 1D 순차 모델링과 비교해 2D 의미 분할 작업으로 장면 텍스트 인식을 모델링할 경우, 비정형 및 굽은 텍스트에서 성능 향상이 이루어지는가?
• RQ2 노이즈가 많거나 정확도가 떨어지는 텍스트 검출 바운딩 박스에 대해, 제안된 2D 접근 방식은 시퀀스 기반 모델보다 얼마나 더 내구성이 있는가?
• RQ3 문자 수준의 주의 메커니즘과 변형 가능 컨볼루션의 통합이 정확도 향상과 정렬 정확성 향상에 어느 정도 기여하는가?
• RQ4 2D 예측 프레임워크는 배경 노이즈와 영상 내 공간 왜곡에 대해 민감도가 낮아지는가?
• RQ5 명시적인 정규화나 후처리 없이도, 정형 및 비정형 텍스트 모두에 효과적으로 일반화될 수 있는가?

주요 결과

• CA-FCN는 정형(IC15, ICDAR2013) 및 비정형(IC17, IIIT) 텍스트 인식 벤치마크에서 모두 최신 기술 수준의 성능을 달성한다.
• IIIT 데이터셋에서 CA-FCN는 표준 분할에서 91.4%의 정확도를 기록했으며, 확장된 IIIT-p 데이터셋에서는 2.6%의 격차를 보였고, CRNN는 6.4%의 격차를 보였다.
• IIIT-p에서 2.9%의 성능 격차, IIIT-r-p에서 4.8%의 격차를 기록했으며, 이는 정밀도가 떨어지는 위치 지정 노이즈 상황에서 CRNN(6.4% 및 8.3% 격차)보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 분석 결과, 주의 모듈과 변형 가능 컨볼루션 둘 다 정확도와 내구성을 향상시키며, 둘 다 사용했을 때 최고의 성능를 기록했다.
• 모델은 배경 노이즈와 공간 왜곡에 더 강건한 편이었는데, 이는 2D 공간에서 문자를 예측함으로써 1D 특징 시퀀스에 노이즈가 포함되는 것을 방지했기 때문이다.
• 단어 형성 모듈은 2D 문자 맵에서 단어를 성공적으로 재구성했으며, 문자 클래스와 공간 위치를 동시에 예측하는 데 성공했다.