[논문 리뷰] Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

Chen‐Yu Lee, Simon Osindero|arXiv (Cornell University)|2016. 03. 09.

Handwritten Text Recognition Techniques참고 문헌 49인용 수 64

한 줄 요약

이 논문은 어휘 없는 스트리트 뷰 텍스트 인식을 위한 재귀적 순환 신경망(R²AM)을 제안한다. 이는 효율적인 특징 추출을 위해 재귀적 CNN을 사용하고, 은닉 언어 모델링을 위해 RNN을 활용하며, 관련 이미지 영역에 집중하기 위해 소프트 어텐션을 통합하여, 스트리트 뷰 텍스트에서 9%의 절대적 향상과 ICDAR 2013에서 8.2%의 성능 향상을 이룩하며 최신 기술 수준을 달성한다.

ABSTRACT

We present recursive recurrent neural networks with attention modeling (R$^2$AM) for lexicon-free optical character recognition in natural scene images. The primary advantages of the proposed method are: (1) use of recursive convolutional neural networks (CNNs), which allow for parametrically efficient and effective image feature extraction; (2) an implicitly learned character-level language model, embodied in a recurrent neural network which avoids the need to use N-grams; and (3) the use of a soft-attention mechanism, allowing the model to selectively exploit image features in a coordinated way, and allowing for end-to-end training within a standard backpropagation framework. We validate our method with state-of-the-art performance on challenging benchmark datasets: Street View Text, IIIT5k, ICDAR and Synth90k.

연구 동기 및 목표

• 제약 없는 자연 이미지에서 어휘 없는 스트리트 텍스트 인식의 과제를 해결한다.
• 수작업된 특징, 고정된 어휘집, 또는 N-gram 모델에 의존하는 이전 방법의 한계를 극복한다.
• 시각적 특징과 순차적 언어 패턴을 동시에 학습할 수 있는 엔드 투 엔드 트레이닝 가능한 시스템을 개발한다.
• 실제 환경의 낮은 대비, 변형, 혼잡한 텍스트에 대한 강건성을 향상시킨다.

제안 방법

• 제약된 파rameter 예산 내에서 가중치 공유를 통한 재귀적 컨volution 신경망(RCNN)을 사용해 이미지 특징을 효율적으로 추출한다.
• 재귀적 CNN 특징 위에 순환 신경망(RNN)을 적용하여 명시적인 N-gram 정의 없이도 문자 수준의 언어 모델을 암묵적으로 학습한다.
• 시퀀스 디코딩 중에 관련 이미지 특징을 동적으로 선택하는 소프트 어텐션 메커니즘을 통합하여 맥락 인식 특징 활용을 가능하게 한다.
• 표준 백프로파게이션을 사용해 전체 아키텍처를 엔드 투 엔드로 훈련시켜 시각적 및 순차적 구성 요소를 함께 최적화한다.
• 최종 디코더로 문자 수준의 RNN과 어텐션(RNN_Atten)을 사용하였으며, 이는 다른 RNN 변종보다 우수한 성능을 보였다.
• 평균 단어 길이(~8자)를 고려해 LSTM 메모리 셀을 회피함으로써 복잡성을 감소시키면서도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 표준 CNN과 비교해 재귀적 CNN이 스트리트 텍스트 인식에서 특징 추출의 효율성과 성능을 향상시킬 수 있는가?
• RQ2 수작업으로 정의된 N-gram에 의존하지 않고도 RNN 기반 언어 모델이 문자 수준의 순차적 의존성을 암묵적으로 포착할 수 있는가?
• RQ3 소프트 어텐션 메커니즘이 시퀀스 생성 중 관련 이미지 영역에 집중함으로써 정확도를 향상시키는가?
• RQ4 제안된 엔드 투 엔드 프레임워크가 제약 없는 및 제약 있는 인식 설정 모두에서 이전 최신 기술 수준을 초월할 수 있는가?
• RQ5 모델은 가림되거나 왜곡된 텍스트가 포함된 실제 환경의 스트리트 이미지에서나 새로운 단어에 대해 어떻게 일반화되는가?

주요 결과

• R²AM 아키텍처는 스트리트 뷰 텍스트(SVT) 데이터셋에서 이전 최신 기술 수준 대비 9%의 절대적 정확도 향상을 달성했다.
• ICDAR 2013(IC13) 벤치마크에서 8.2%의 절대적 향상을 기록하여 제약 없는 스트리트 텍스트 인식 분야에서 새로운 최신 기술 수준을 수립했다.
• 암묵적 언어 모델링 덕분에 손실되거나 가려진 문자(예: PARK, BURBANK, SAN, STAR)를 성공적으로 복구했다.
• 이 시스템은 새로운 단어에 대해 잘 일반화되며, 어휘 없는 인식을 위해 설계되었음에도 불구하고 제약 있는 설정에서도 경쟁적인 성능을 보였다.
• 제거 분석 결과, 재귀적 CNN, RNN 언어 모델링, 소프트 어텐션 모두 성능 향상에 기여하는 것으로 확인되었다.
• IIIT5k와 Synth90k에서 강력한 성능을 기록하였으며, 문헌상에서 처음으로 IIIT5k에 대해 제약 없는 결과를 보고했다.