[논문 리뷰] STN-OCR: A single Neural Network for Text Detection and Text Recognition

Christian Bartz, Haojin Yang외 1명|arXiv (Cornell University)|2017. 07. 27.

Handwritten Text Recognition Techniques참고 문헌 23인용 수 50

한 줄 요약

STN-OCR은 공간 변환기를 주의 기반 로컬라이제이션 모듈로 사용하여 자연 장면에서 텍스트를 공동으로 탐지하고 인식하는 단일 엔드-투-엔드 딥 뉴럴 네트워크를 제시하며, 반지도학적으로 학습된다.

ABSTRACT

Detecting and recognizing text in natural scene images is a challenging, yet not completely solved task. In re- cent years several new systems that try to solve at least one of the two sub-tasks (text detection and text recognition) have been proposed. In this paper we present STN-OCR, a step towards semi-supervised neural networks for scene text recognition, that can be optimized end-to-end. In contrast to most existing works that consist of multiple deep neural networks and several pre-processing steps we propose to use a single deep neural network that learns to detect and recognize text from natural images in a semi-supervised way. STN-OCR is a network that integrates and jointly learns a spatial transformer network, that can learn to detect text regions in an image, and a text recognition network that takes the identified text regions and recognizes their textual content. We investigate how our model behaves on a range of different tasks (detection and recognition of characters, and lines of text). Experimental results on public benchmark datasets show the ability of our model to handle a variety of different tasks, without substantial changes in its overall network structure.

연구 동기 및 목표

• End-to-end 장면 텍스트 인식을 별도의 탐지/인식 파이프라인 없이 동기화하도록 동기를 부여한다.
• 재현적 공간 변환기를 사용하여 텍스트 로컬라이제이션과 인식을 공동으로 학습하는 단일 DNN를 제안한다.
• 텍스트 로컬라이제이션이 인식 손실에서 역전파를 통해 학습되는 반지도학습(training)을 보여준다.
• 탐지 및 인식 작업에서 표준 장면 텍스트 벤치마크에 대해 경쟁력 있거나 최첨단 성능을 보여준다.
• 연구 커뮤니티를 위한 실용적인 학습 가이드와 코드/모델 공개를 제공한다.

제안 방법

• 회귀적 공간 변환기를 통한 텍스트 영역 샘플링을 예측하는 로컬라이제이션 네트워크를 재귀적 공간 변환기로 통합한다.
• N개의 추출된 크롭에서 텍스트를 인식하기 위해 CNN 기반 인식 네트워크(ResNet 변형)를 사용한다.
• 미분 가능한 그리드 기반 영역 추출을 가능하게 하는 양선형 샘플링을 적용하여 엔드-투-엔드 역전파를 가능하게 한다.
• 언어를 제한하지 않고 이미지 수준 콘텐츠에 대한 텍스트 라벨만으로 인식에서 순서를 예측하는 고정 길이 소프트맥스 로지스틱 분류기 또는 CTC를 사용한다.
• 텍스트 로컬라이제이션에 대한 그라운드 트루스 없이도 인식 손실을 통해 공간 변환기를 역전파하는 반지도학습으로 모델을 엔드-투-엔드 학습한다.
• 더 어려운 작업에서 수렴을 개선하기 위한 2단계 사전 학습 전략(SGD로 사전 학습, 그 뒤 Adam으로 미세 조정)을 권장한다.

실험 결과

연구 질문

• RQ1 단일 다중 작업 신경망이 엔드-투-엔드 방식으로 자연 장면에서 텍스트 영역을 탐지하고 텍스트를 인식하는 것을 학습할 수 있는가?
• RQ2 학습된 주의 메커니즘으로서 공간 변환기를 통합하는 것이 엔드-투-엔드 학습 및 장면 텍스트 탐지/인식의 성능을 향상시키는가?
• RQ3 여러 줄의 텍스트를 탐지할 때 모델이 수렴하도록 하는 효과적인 학습 전략은 무엇인가?
• RQ4 반지도학습 로컬라이제이션(인식 손실에 의해 주도)이 표준 벤치마크에서 완전한 지도학습 혹은 수작업 설계 파이프라인과 비교하여 어떤 차이가 있는가?

주요 결과

• 제안된 STN-OCR 네트워크가 엔드-투-엔드 방식으로 여러 표준 장면 텍스트 벤치마크에서 경쟁력 있는 또는 최첨단 수준의 성능을 달성한다.
• 시스템은 공간 변환기를 통해 인식 손실을 역전파함으로써 반지도학습 방식으로 텍스트 로컬라이제이션을 학습할 수 있으며, 명시적 로컬라이제이션 라벨이 필요하지 않다.
• 간단한 작업에서 시작해 점점 미세 조정하는 2단계 학습 프로토콜(SGD에서 시작하여 이후 Adam으로 미세 조정)이 수렴성과 로컬라이제이션 품질을 향상시킨다.
• 로컬라이제이션 단계와 인식 단계 모두에서 ResNet 기반 백본을 사용하면 그래디언트 흐름과 인식 성능이 개선된다.
• 강건한 독해 데이터세트(ICDAR 2013, SVT, IIIT5K)에서 방법은 표준 포스트처리 외의 외부 어휘를 사용하지 않고도 경쟁력 있는 인식 정확도를 달성한다.
• FSNS 데이터셋에 대한 예비 실험은 모델이 개별 단어를 로컬라이즈하고 인식할 수 있음을 시사하지만, 전체 다중 행 텍스트 탐지는 여전히 도전적이다.