[논문 리뷰] Unconstrained Scene Text and Video Text Recognition for Arabic Script

Mohit Jain, Minesh Mathew외 1명|arXiv (Cornell University)|2017. 11. 07.

Handwritten Text Recognition Techniques참고 문헌 33인용 수 10

한 줄 요약

이 논문은 실제 데이터에 한정된 레이블링을 보완하기 위해 합성 데이터를 활용하여 비제약 조건의 아랍어 도메인의 장면 및 영상 텍스트 인식을 위한 엔드 투 엔드로 학습 가능한 CNN-RNN 하이브리드 모델을 제안한다. 이 모델은 영상 텍스트 벤치마크에서 최신 기술 수준의 성능을 달성하였고, 새로 도입된 데이터셋을 기반으로 아랍어 장면 텍스트 인식에 있어 처음으로 단어 수준의 베이스라인을 수립하였다.

ABSTRACT

Building robust recognizers for Arabic has always been challenging. We demonstrate the effectiveness of an end-to-end trainable CNN-RNN hybrid architecture in recognizing Arabic text in videos and natural scenes. We outperform previous state-of-the-art on two publicly available video text datasets - ALIF and ACTIV. For the scene text recognition task, we introduce a new Arabic scene text dataset and establish baseline results. For scripts like Arabic, a major challenge in developing robust recognizers is the lack of large quantity of annotated data. We overcome this by synthesising millions of Arabic text images from a large vocabulary of Arabic words and phrases. Our implementation is built on top of the model introduced here [37] which is proven quite effective for English scene text recognition. The model follows a segmentation-free, sequence to sequence transcription approach. The network transcribes a sequence of convolutional features from the input image to a sequence of target labels. This does away with the need for segmenting input image into constituent characters/glyphs, which is often difficult for Arabic script. Further, the ability of RNNs to model contextual dependencies yields superior recognition results.

연구 동기 및 목표

• 장면 및 영상 텍스트 인식을 위한 대규모 애너테이션된 아랍어 텍스트 데이터의 부족 문제를 해결하기 위해.
• 세그멘테이션을 필요로 하지 않는, 순서 기반의 순차적 인식 방법을 개발하여 아랍어 텍스트 인식의 강건성을 향상시키기 위해.
• 새로운 아랍어 장면 텍스트 데이터셋을 도입하고, 단어 수준의 인식에 대한 기준 성능을 설정하기 위해.
• 다양한 조명 조건, 왜곡, 폰트 스타일 등 다양한 환경에서의 인식 정확도를 향상시키기 위해.
• 아랍어와 같이 자원이 적은 언어에 대해 합성 데이터와 엔드 투 엔드 학습의 효과를 입증하기 위해.

제안 방법

• 모델는 캐릭터 수준의 세그멘테이션을 필요로 하지 않고 입력 이미지 특징을 직접 레이블 시퀀스로 변환하는 CNN-RNN 하이브리드 아키텍처를 사용한다.
• RNN이 캐릭터 간의 문맥적 의존성을 모델링할 수 있도록 순서 기반의 순차적 학습 프레임워크를 활용한다.
• 다양한 어휘에서 대량의 합성 아랍어 텍스트 이미지를 생성하여 훈련 데이터를 보강한다.
• 백프로파게이션을 사용하여 RNN에 대해 Back-Propagation Through Time (BPTT)를 적용하고 AdaDelta 최적화기를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 순서 정렬을 위한 커넥티스트 텀포럴 분류(CTC) 손실을 사용하여 정렬에 의존하지 않는 학습을 가능하게 한다.
• 특징 추출은 합성곱층을 통해 수행되며, 장거리 의존성을 모델링하기 위해 양방향 LSTM층이 사용된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 CNN-RNN 아키텍처가 이전의 방법들보다 아랍어 영상 및 장면 텍스트 인식에서 더 우수한 성능을 낼 수 있는가?
• RQ2 자원이 적은 아랍어 텍스트 인식에서 합성 데이터 생성 기법이 성능 향상에 얼마나 효과적인가?
• RQ3 아랍어에서 영상 텍스트 인식과 장면 텍스트 인식 간의 성능 격차는 무엇이며, 이러한 격차를 초래하는 요인들은 무엇인가?
• RQ4 기존의 세그멘테이션 기반 모델에 비해 세그멘테이션을 필요로 하지 않는 접근 방식이 더 뛰어난 성능을 낼 수 있는가?
• RQ5 이 분야에서 이전 연구가 부족한 상황에서, 단어 수준의 아랍어 장면 텍스트 인식에 대해 어떤 기준 성능을 설정할 수 있는가?

주요 결과

• 제안된 CNN-RNN 모델은 ALIF test1 데이터셋에서 문자 인식률(CRR) 98.17%를 달성하여 아랍어 영상 텍스트 인식 분야에서 새로운 최고 기록을 수립하였다.
• ALIF test2 및 AcTiV 데이터셋에서 각각 CRR 97.84%와 97.44%를 기록하여 이전의 방법들을 능가하였다.
• 새로 도입된 아랍어 장면 텍스트 데이터셋에서 모델은 CRR 75.05%와 단어 인식률(WRR) 39.43%를 기록하였으며, 이는 단어 수준의 인식에 대한 첫 번째 기준 성능을 설정한 것이다.
• 장면 텍스트 데이터셋에서 Tesseract OCR(CRR: 17.07%)보다도 뚜렷이 뛰어난 성능을 보이며, 딥러닝과 합성 데이터의 효과를 입증하였다.
• 결과적으로 장면 텍스트 인식은 조명, 왜곡, 타이포그래피의 변동성이 더 크기 때문에 영상 텍스트 인식보다 훨씬 더 어려운 과제임을 확인하였다.
• 결과 분석을 통해 엔드 투 엔드 학습과 합성 데이터 활용이 아랍어 텍스트 인식에서 더 나은 일반화 능력과 문맥 모델링을 가능하게 한다는 점을 확인하였다.