[논문 리뷰] Reading Scene Text in Deep Convolutional Sequences

Pan He, Weilin Huang외 3명|arXiv (Cornell University)|2015. 06. 14.

Handwritten Text Recognition Techniques참고 문헌 38인용 수 38

한 줄 요약

이 논문은 문자 분할 없이 단어 이미지에서 깊이 있는 컨volutional 특징의 순서 있는 시퀀스를 생성함으로써 현장 텍스트를 읽는 데 사용되는 Deep-Text Recurrent Network(DTRN)을 제안한다. 문맥적 의존성을 모델링하기 위해 LSTM을 사용하여, SVT와 IIIT5k에서 각각 93.5% 및 94.0%의 정확도로 최신 기술 수준(SOTA) 성능을 달성하였으며, 사전 처리나 언어 모델 없이도 알려지지 않은 단어나 임의의 문자열을 종단 간(end-to-end)으로 처리한다.

ABSTRACT

We develop a Deep-Text Recurrent Network (DTRN) that regards scene text reading as a sequence labelling problem. We leverage recent advances of deep convolutional neural networks to generate an ordered high-level sequence from a whole word image, avoiding the difficult character segmentation problem. Then a deep recurrent model, building on long short-term memory (LSTM), is developed to robustly recognize the generated CNN sequences, departing from most existing approaches recognising each character independently. Our model has a number of appealing properties in comparison to existing scene text recognition methods: (i) It can recognise highly ambiguous words by leveraging meaningful context information, allowing it to work reliably without either pre- or post-processing; (ii) the deep CNN feature is robust to various image distortions; (iii) it retains the explicit order information in word image, which is essential to discriminate word strings; (iv) the model does not depend on pre-defined dictionary, and it can process unknown words and arbitrary strings. Codes for the DTRN will be available.

연구 동기 및 목표

• 현장 텍스트 인식에서 문자 수준의 분할과 독립적인 분류 방식의 한계를 해결하기 위해.
• 모호하거나 왜곡된 텍스트 이미지에서 더 높은 강건성을 확보하기 위해 단어 수준의 문맥 정보를 활용하기 위해.
• 사전에 정의된 사전에 의존하지 않도록 하여, 알려지지 않은 또는 임의의 단어 문자열의 인식을 가능하게 하기 위해.
• 특징 표현과 시퀀스 레이블링을 함께 최적화하는 종단 간 학습 가능한 시스템을 개발하기 위해.
• 저해상도, 저대trast, 혼잡한 배경 조건 하에서도 인식 성능 향상시키기 위해.

제안 방법

• DTRN 모델은 단어 이미지 위를 슬라이딩 윈도우로 스캔하여, 분할 없이도 공간적 순서를 유지하는 깊이 있는 컨volutional 특징의 순서 있는 시퀀스를 생성한다.
• 깊이 있는 컨volutional 신경망(CNN)은 각 슬라이딩 윈도우 영역에서 고수준의 강건한 특징을 추출하여, 이미지 왜곡에 대해 불변성을 확보한다.
• 생성된 CNN 특징의 시퀀스는 장기적 단기 기억(LSTM) 네트워크에 입력되어 문자 간의 순차적 의존성과 문맥을 모델링한다.
• 전체 시스템은 역전파를 사용하여 종단 간으로 학습되며, 특징 추출과 시퀀스 레이블링을 함께 최적화한다.
• 모델은 문자 수준의 애너테이션, 언어 모델, 사후 처리가 필요 없으며, 직접적으로 단어 문자열을 예측할 수 있다.
• 단어 이미지를 공간적으로 순서 정렬된 특징 맵의 시퀀스로 간주함으로써 명시적인 문자 분할을 피한다.

실험 결과

연구 질문

• RQ1 문자 수준의 분할에 의존하지 않고 문자 간의 문맥 정보를 활용함으로써, 깊이 있는 순환 모델이 현장 텍스트를 효과적으로 인식할 수 있는가?
• RQ2 문자 수준의 독립적 분류 대비, 순차적 레이블링 문제로 모델링할 경우, 모호하거나 왜곡된 단어 이미지에서 성능 향상이 어떻게 이루어지는가?
• RQ3 사전 정의된 어휘 없이도 종단 간 딥 러닝 모델이 얼마나 알려지지 않은 또는 임의의 단어 문자열을 처리할 수 있는가?
• RQ4 CNN 특징의 명시적 순서가 복잡한 배경에서 분류 성능 향상에 어떻게 기여하는가?
• RQ5 종단 간으로 학습된 순환 모델이 별도의 문자 분할, 분류, 언어 모델 컴포넌트를 사용하는 시스템을 능가할 수 있는가?

주요 결과

• SVT 데이터셋에서 DTRN은 93.5%의 정확도를 달성하였으며, 훈련 데이터의 일부분만 사용했음에도 불구하고 DeepFeatures(86.1%)와 PhotoOCR(90.4%)보다 뚜렷한 향상을 보였다.
• IIIT5k 데이터셋에서 DTRN은 작은 어휘에서 94.0%의 정확도, 큰 어휘에서 91.5%의 정확도를 기록하여 Almazan 등이 제안한 전체 이미지 표현 방법을 능가했다.
• DTRN은 SVT에서 PhotoOCR보다 3.1% 향상된 성능을 보였으며, 훈련 데이터는 두 배수 정도 적게 사용했고 언어 모델이나 사후 처리를 사용하지 않았다.
• DTRN은 어휘 크기가 증가함에 따라도 높은 성능를 유지했으며, 기존 기준 모델의 정확도가 크게 떨어지는 것과는 대조적으로, 어휘 크기에 대한 강건성을 입증했다.
• 모델은 복잡한 사례인 'AB00d'와 같은 알려지지 않은 또는 임의의 단어 문자열도 성공적으로 인식하여, 고정 어휘 기반 시스템을 초월한 유연성을 입증했다.
• CNN 특징 시퀀스의 명시적 순서 정보는 분류 성능 향상에 핵심적인 역할을 하였으며, 이러한 순서 정보가 없는 방법에 비해 일관된 성능 향상이 관찰되었다.