[논문 리뷰] Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

Max Jaderberg, Karen Simonyan외 2명|arXiv (Cornell University)|2014. 06. 09.

Handwritten Text Recognition Techniques참고 문헌 32인용 수 808

한 줄 요약

이 논문은 인간이 레이블링한 실제 영상 자료 없이도 합성 데이터만으로 학습하는 딥러닝 프레임워크를 제안한다. 이 프레임워크는 컨볼루션 신경망(CNN)을 활용하여 자연 풍경 내 텍스트 인식을 수행하며, 사전 인코딩, 문자열 인코딩, N-그램의 집합 인코딩이라는 세 가지 통합적 단어 인식 모델을 도입하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 DICT+2-90k 모델은 실제 데이터 없이도 ICDAR 2013에서 97.2%의 정확도를 기록하였다.

ABSTRACT

In this work we present a framework for the recognition of natural scene text. Our framework does not require any human-labelled data, and performs word recognition on the whole image holistically, departing from the character based recognition systems of the past. The deep neural network models at the centre of this framework are trained solely on data produced by a synthetic text generation engine -- synthetic data that is highly realistic and sufficient to replace real data, giving us infinite amounts of training data. This excess of data exposes new possibilities for word recognition models, and here we consider three models, each one "reading" words in a different way: via 90k-way dictionary encoding, character sequence encoding, and bag-of-N-grams encoding. In the scenarios of language based and completely unconstrained text recognition we greatly improve upon state-of-the-art performance on standard datasets, using our fast, simple machinery and requiring zero data-acquisition costs.

연구 동기 및 목표

• 인간이 레이블링한 훈련 데이터가 필요 없는 확장성 있고 종단 간 프레임워크를 개발하는 것.
• 문자 수준의 분류에 의존하는 대신 전체 단어 이미지를 한 번에 처리하는 딥 컨볼루션 신경망을 활용한 통합적 단어 인식을 탐색하는 것.
• 합성 데이터가 매우 다양하고 제약이 없는 풍경 내 텍스트 인식에서 실제 데이터와 동등한 성능을 낼 수 있는지 평가하는 것.
• 다양한 어휘 제약 조건 하에서 사전, 문자열 순서, N-그램의 집합 등 다양한 인코딩 전략을 비교하는 것.
• 합성 데이터 생성이 실제 풍경 이미지로의 일반화에 충분할 수 있음을 보여주는 것, 특히 실제 데이터 분포에 대한 사전 지식 없이도 가능하다는 점.

제안 방법

• 다양한 폰트, 조명, 배경, 왜곡을 시뮬레이션하는 고유의 텍스트 렌더링 엔진을 통해 대규모 합성 데이터셋을 생성하고, 이를 기반으로 딥 컨볼루션 신경망을 훈련하는 것.
• 사전 기반의 단어 인식을 위한 90,000개의 분류 헤드를 효율적으로 학습하기 위해 점진적 훈련을 사용하여, 과도한 계산 비용 없이도 대규모 어휘 인식을 가능하게 하는 것.
• 전체 단어 이미지의 특징을 하나의 임bedding으로 풀링하여 단어 인식을 통합적 분류 작업으로 설정하는 것.
• 세 가지 다른 인식 헤드를 구현하는 것: (1) 직접 90,000단어 분류(DICT), (2) 위치 민감한 출력을 갖는 문자열 순서 모델링(CHAR), (3) 이진 활성화 벡터를 갖는 N-그램의 집합 인코딩.
• 테스트 시 데이터 증강과 모델 앙상블을 적용하여 일반화 성능을 향상시키며, 특히 제약이 없는 환경에서의 성능 향상을 도모하는 것.
• 실제 풍경 이미지에 투영된 텍스트를 흐리게, 왜곡되게, 노이즈가 섞이고 색상이 변형된 상태로 혼합하는 새로운 합성 데이터 엔진을 도입하여 현실감과 일반화 능력을 향상시키는 것.

실험 결과

연구 질문

• RQ1 합성 데이터만으로 훈련된 딥 컨볼루션 신경망이 인간이 레이블링한 실제 훈련 데이터 없이도 자연 풍경 내 텍스트 인식에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 전체 단어 이미지를 한 번에 처리하는 통합적 단어 인식 방식이 기존의 문자 단위 분류 방식과 비교해 정확도와 강건성 측면에서 어떻게 다른가?
• RQ3 다양한 어휘 제약 조건 하에서 사전, 문자열 순서, N-그램의 집합 인코딩 방식의 상대적 장점과 한계는 무엇인가?
• RQ4 배경 혼합 및 이미지 왜곡을 포함한 합성 데이터의 현실감이 실제 테스트 이미지로의 모델 일반화에 얼마나 큰 영향을 미치는가?
• RQ5 합성 데이터로 훈련된 모델이 어휘 외 단어로의 일반화에 효과적으로 작동할 수 있는가? 그리고 어휘 제약이 있는 모델과 비교해 오류 분포는 어떻게 다른가?

주요 결과

• DICT+2-90k 모델은 실제 데이터 없이도 ICDAR 2013 데이터셋에서 97.2%의 정확도를 기록하여 어휘 제약이 있는 인식에서 새로운 최신 기술 수준을 수립하였다.
• CHAR+2 모델은 언어 모델을 사용해 ICDAR 2013에서 90.8%의 정확도를 기록했으며, 어휘 외 단어에서는 79.5%의 정확도를 기록하여 어휘 없이도 뛰어난 성능을 보였다.
• NGRAM+2-SVM 모델은 IC03-50에서 97%의 정확도, IC03-Full에서는 94%의 정확도를 기록하여, 단순한 N-그램 특징의 최소 거리 기반 복원 방식이 매우 효과적임을 보였다.
• 합성 데이터 생성 파이프라인에 자연 이미지 혼합 기능을 추가함으로써 SVT 데이터셋에서 정확도가 6.2% 향상되었으며, 이는 현실적인 데이터 증강의 중요성을 입증하였다.
• CHAR+2 모델은 오류 예측에서 평균 편집 거리가 1.9로 DICT+2-90k(2.5)보다 낮아, 퍼포트 매칭 기반 응용에 더 적합함을 시사하였다.
• 가장 큰 모델인 DICT+2-90k는 단일 GPU에서 단어를 2.2ms 내로 처리하여 실시간 응용에 적합한 높은 추론 효율성을 보였다.