[논문 리뷰] Arbitrarily-Oriented Text Recognition.

Zhanzhan Cheng, Xuyang Liu외 4명|arXiv (Cornell University)|2017. 11. 12.

Handwritten Text Recognition Techniques참고 문헌 36인용 수 14

한 줄 요약

이 논문은 주어진 이미지에서 기울어지거나 곡선이거나 투시법에 의해 왜곡된 텍스트를 종횡비에 구애받지 않고 끝에서 끝까지 인식할 수 있도록 하는 어텐션 기반 디코더를 사용하는 딥러닝 모델인 임의의 방향 네트워크(Arbitrary Orientation Network, AON)를 제안한다. 이 방법은 CUTE80, SVT-Perspective, ICDAR와 같은 데이터셋에서 기존 방법들을 크게 앞서는 최신 기술 성능을 달성한다.

ABSTRACT

Recognizing text from natural images is still a hot research topic in computer vision due to its various applications. Despite the enduring research of several decades on optical character recognition (OCR), recognizing texts from natural images is still a challenging task. This is because scene texts are often in irregular arrangements (curved, arbitrarily-oriented or seriously distorted), which have not yet been well addressed in the literature. Existing methods on text recognition mainly work with regular (horizontal and frontal) texts and cannot be trivially generalized to handle irregular texts. In this paper, we develop the arbitrary orientation network (AON) to capture the deep features of irregular texts (e.g. arbitrarily-oriented, perspective or curved), which are combined into an attention-based decoder to generate character sequence. The whole network can be trained end-to-end by using only images and word-level labels. Extensive experiments on various benchmarks, including the CUTE80, SVT-Perspective, IIIT5k, SVT and ICDAR datasets, show that the proposed AON-based method substantially outperforms the existing methods.

연구 동기 및 목표

• 자연 풍경 이미지에서 비정규적인 방향, 곡선 또는 투시법 왜곡이 있는 텍스트를 인식하는 과제를 해결한다.
• 수평적이고 정면을 향한 텍스트에 국한되는 기존 OCR 방법의 한계를 극복한다.
• 깊은 특징과 어텐션 메커니즘을 활용하여 정확한 시퀀스 생성을 위한 통합적이고 종횡비로 훈련 가능한 프레임워크를 개발한다.
• 경계 상자 애너테이션이나 복잡한 후처리가 필요 없이 이미지와 단어 수준의 레이블만으로 효과적인 인식을 가능하게 한다.

제안 방법

• 비정규적인 텍스트 영역, 곡선 또는 투시법 왜곡이 있는 영역에서 깊은 특징을 추출하기 위해 임의의 방향 네트워크(AON)를 제안한다.
• 추출된 특징에서 문자 시퀀스를 생성하기 위해 어텐션 기반 디코더를 통합하여 특징과 출력 사이의 민감한 정렬을 가능하게 한다.
• 개별 인스턴스 애너테이션의 필요 없이 이미지와 단어 수준의 레이블만으로 전체 네트워크를 종횡비로 훈련시킨다.
• 임의의 방향과 기하학적 왜곡에 강건한 공간적 특징 표현을 활용한다.
• 디코딩 중에 관련된 특징 영역에 동적으로 집중할 수 있도록 가역적 어텐션 메커니즘을 사용한다.
• 공간적 특징 학습을 통해 텍스트 방향과 투시법 왜곡에 대해 불변성을 확보한 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 자연 이미지에서 임의의 방향, 곡선 또는 투시법 왜곡이 있는 텍스트를 효과적으로 인식할 수 있는가?
• RQ2 기존의 순차적 생성 방법과 비교해 볼 때 종횡비로 훈련 가능한 어텐션 기반 디코더는 비정규 텍스트에서 어떤 성능을 보이는가?
• RQ3 경계 상자 감시 없이 이미지와 단어 수준의 레이블만으로 훈련된 모델이 복잡한 텍스트 레이아웃에 얼마나 일반화되는가?
• RQ4 기존 방법들에 비해 표준 비정규 텍스트 인식 벤치마크에서 제안된 AON 프레임워크는 어떤 성능 향상을 보이는가?

주요 결과

• AON 기반 방법은 CUTE80 데이터셋에서 최신 기술 성능을 달성하여 곡선형 및 임의의 방향 텍스트 인식에서 이전 방법들을 크게 앞서며 성능을 높였다.
• SVT-Perspective 데이터셋에서 모델는 투시법 왜곡에 대해 강력한 일반화 능력을 보이며 정확도에서 기존 접근 방식을 뛰어넘었다.
• IIIT5k 및 SVT 데이터셋에서 높은 인식 정확도를 달성하여 다양한 텍스트 레이아웃에 대한 강건성을 확인했다.
• 단어 수준의 레이블만으로 종횡비로 훈련한 방법은 개별 인스턴스 애너테이션의 필요 없이 효과적인 특징 학습과 시퀀스 생성을 가능하게 했다.
• 어텐션 기반 디코더는 가변 길이 출력을 효과적으로 처리하며 심각하게 왜곡된 텍스트에서도 높은 정밀도를 유지했다.
• 광범위한 실험을 통해 AON 프레임워크는 여러 벤치마크에서 기존 방법들을 일관되게 능가함을 확인하였으며, 그 효과성과 일반화 능력을 입증했다.