[논문 리뷰] Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks

Mohamed Yousef, Khaled F. Hussain외 1명|arXiv (Cornell University)|2018. 12. 31.

Handwritten Text Recognition Techniques인용 수 9

한 줄 요약

이 논문은 순환 연결 없이도 일곱 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성하는 간단하고 완전히 컨볼루션 기반의 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 모델은 디프스와이즈 분리 컨볼루션, 게이팅 기반의 새로운 인터레이어 잔차 연결, CTC 손실을 사용하여 최소한의 데이터와 낮은 추론 지연으로 높은 정확도를 달성한다.

ABSTRACT

Unconstrained text recognition is an important computer vision task, featuring a wide variety of different sub-tasks, each with its own set of challenges. One of the biggest promises of deep neural networks has been the convergence and automation of feature extractors from input raw signals, allowing for the highest possible performance with minimum required domain knowledge. To this end, we propose a data-efficient, end-to-end neural network model for generic, unconstrained text recognition. In our proposed architecture we strive for simplicity and efficiency without sacrificing recognition accuracy. Our proposed architecture is a fully convolutional network without any recurrent connections trained with the CTC loss function. Thus it operates on arbitrary input sizes and produces strings of arbitrary length in a very efficient and parallelizable manner. We show the generality and superiority of our proposed text recognition architecture by achieving state of the art results on seven public benchmark datasets, covering a wide spectrum of text recognition tasks, namely: Handwriting Recognition, CAPTCHA recognition, OCR, License Plate Recognition, and Scene Text Recognition. Our proposed architecture has won the ICFHR2018 Competition on Automated Text Recognition on a READ Dataset.

연구 동기 및 목표

• 특수 작업용 모델 없이도 일반적인 목적의 데이터 효율적인 신경망 아키텍처를 개발하여 비구속 텍스트 인식을 수행한다.
• 새로운 아키텍처 구성 요소를 사용하여 순환 신경망을 완전히 제거하고 오직 피드포워드 컨볼루션 레이어만을 사용하여 텍스트 인식에서의 필요성을 없앤다.
• 새로운 정규화 및 게이팅 메커니즘을 통해 모델의 효율성과 강건성을 향상시키면서도 높은 정확도를 유지한다.
• 손글씨, 스트리트 텍스트, CAPTCHA, 번호판 등 다양한 텍스트 인식 작업에 걸쳐 아키텍처의 일반성(일반성)을 입증한다.
• 다양한 벤치마크에서 최신 기술 성능을 달성하는 통합적이고 최소한의 하이퍼파rameter를 가진 솔루션을 확립한다.

제안 방법

• 계산 효율성을 위해 디프스와이즈 분리 컨볼루션 기반의 완전히 컨볼루션 신경망 기반의 모델이다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 학습 가능한 게이팅 메커니즘을 갖춘 새로운 인터레이어 잔차 연결을 통합한다.
• 레이어 정규화와 배치 정규화를 적용하며, 게이팅 블록 이전에 소프트맥스를 적용하여 게이팅 신호의 안정성을 높인다.
• 시퀀스에서 문자열로의 매핑을 위해 연결주의적 시간 분류(CTC) 손실을 사용하여 엔드 투 엔드로 학습한다.
• 모든 텍스트 인식 작업에 적용 가능한 일반적인 데이터 증강 기법 세트를 제안하여 강건성과 일반화 능력을 향상시킨다.
• 모델은 임의의 입력 크기를 처리하며, 완전히 병렬화 가능한 방식으로 가변 길이의 출력을 생성한다.

실험 결과

연구 질문

• RQ1 순환 연결이 없는 완전히 컨볼루션 기반의 네트워크가 비구속 텍스트 인식에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 게이팅 기반의 인터레이어 잔차 연결이 텍스트 인식 모델의 성능 향상과 학습 안정성 향상에 어떤 영향을 미치는가?
• RQ3 레이어 정규화와 배치 정규화와 같은 다양한 정규화 기법이 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ4 단일의 통합 아키텍처가 최소한의 하이퍼파rameter 조정으로 다양한 텍스트 인식 작업에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 일반적인 데이터 증강 기법이 다양한 텍스트 인식 도메인 간의 모델 일반화 능력 향상에 얼마나 효과적인가?

주요 결과

• 제안된 아키텍처는 IAM, KHATT, SVHN, UW3, AOLP, reCAPTCHA를 포함한 일곱 개의 공개 벤치마크 데이터셋에서 최신 기술 성능을 달성했다.
• reCAPTCHA 데이터셋에서 모델은 인간 수준의 성능을 달성했으며, 이는 이전 RCN 시스템 대비 약 20%p의 인식률 향상이다.
• ICFHR2018 대회에서 READ 데이터셋에서 우승했으며, 두 번째로 높은 성능을 낸 참가자 대비 문자 오류율(CER)을 25% 이상 상대적으로 감소시켰다.
• 절단 실험 결과, 레이어 정규화를 제거하면 CER가 거의 30% 증가하여, 이는 모델 안정성 확보에 있어 레이어 정규화의 핵심적 역할을 입증한다.
• 잔차 연결과 함께 게이팅 메커니즘을 적용한 경우 기준 모델 대비 CER가 20% 상대적으로 감소하여 성능 향상 효과를 입증했다.
• IAM 데이터셋에서 소규모 파라미터 예산(~71k 파라미터)으로도 검증 CER가 22.85%를 기록하여 높은 데이터 효율성을 입증했다.