[논문 리뷰] Multilingual Scene Character Recognition System using Sparse Auto-Encoder for Efficient Local Features Representation in Bag of Features

Maroua Tounsi, Ikram Moalla외 2명|arXiv (Cornell University)|2018. 06. 11.

Handwritten Text Recognition Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 다국어 환경의 장면 문자 인식 시스템을 제안하며, 지역적 특징 표현을 향상시키기 위해 깊이 있는 희소 auto-encoder(SAE)를 사용한 Bag of Features(BoF) 표현 방식을 개선한다. 지역 이미지 패치에서 효율적이고 구분력 있는 특징을 학습하기 위해 SAE를 활용함으로써, 다섯 가지 언어에서 높은 인식 정확도를 달성하였으며, 다양한 벤치마크 데이터셋에서 기존의 BoF 접근 방식을 능가한다.

ABSTRACT

The recognition of texts existing in camera-captured images has become an important issue for a great deal of research during the past few decades. This give birth to Scene Character Recognition (SCR) which is an important step in scene text recognition pipeline. In this paper, we extended the Bag of Features (BoF)-based model using deep learning for representing features for accurate SCR of different languages. In the features coding step, a deep Sparse Auto-encoder (SAE)-based strategy was applied to enhance the representative and discriminative abilities of image features. This deep learning architecture provides more efficient features representation and therefore a better recognition accuracy. Our system was evaluated extensively on all the scene character datasets of five different languages. The experimental results proved the efficiency of our system for a multilingual SCR.

연구 동기 및 목표

• 장면 문자 인식(SCR)의 정확도를 향상시키기 위해 Bag of Features(BoF) 프레임워크 내 지역적 특징 표현을 개선한다.
• 다국어 장면 텍스트 인식에 있어 전통적인 BoF가 구분력 있고 강건한 특징를 포착하는 데에 한계가 있음을 해결한다.
• 특히 희소 자동에코더를 포함한 딥 러닝 기법을 BoF 파이프라인에 통합하여 더 효율적이고 표현력 있는 특징 코드화를 실현한다.
• 다양한 다국어 장면 텍스트 데이터셋을 대상으로 제안된 시스템을 평가하여 다국어 간 일반화 능력과 강건성을 확보한다.
• 기존의 표준 BoF 방법에 비해 SAE 기반 특징 학습이 인식 정확도를 크게 향상시킨다는 것을 입증한다.

제안 방법

• 시스템은 장면 이미지에서 SIFT 또는 유사한 지역적 특징을 추출하는 Bag of Features(BoF) 파이프라인을 사용한다.
• 깊이 있는 희소 자동에코더(SAE)는 지역 이미지 패치에서 압축된, 분산된, 그리고 구분력 있는 특징 표현을 학습하기 위해 훈련된다.
• 표준 코드북 생성 방식을 대체하기 위해 SAE를 도입함으로써, 더 정보감 있는 시각적 단어 표현을 위한 엔드 투 엔드 학습이 가능해진다.
• 학습된 SAE 특징는 분류를 위한 히스토그램 기반 이미지 표현으로 구성된다.
• 모델은 다섯 개의 다국어 장면 텍스트 데이터셋에서 훈련 및 평가되며, 다국어 평가를 위한 언어별 데이터를 포함한다.
• 효율적이고 희소한 특징 활성화를 촉진하기 위해 SAE는 희소성 제약 조건을 적용하여 훈련된다.

실험 결과

연구 질문

• RQ1 깊이 있는 희소 자동에코더는 다국어 장면 텍스트 인식에서 BoF 프레임워크 내 지역적 특징의 구분력을 향상시킬 수 있는가?
• RQ2 여러 언어에서의 인식 정확도 측면에서 SAE 기반 특징 표현은 기존의 BoF 코드화 방식에 비해 어떻게 비교되는가?
• RQ3 제안된 방법은 장면 텍스트 인식에서 다양한 문자 체계와 언어 간에 얼마나 잘 일반화되는가?
• RQ4 BoF 파이프라인에 딥 러닝 기법을 통합함으로써, 복잡한 장면 이미지에서 특징의 효율성과 강건성이 향상되는가?
• RQ5 자기에코더의 희소성 정규화가 특징 품질과 인식 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 SAE 기반 BoF 시스템은 평가한 다섯 개의 다국어 장면 텍스트 데이터셋 전반에서 표준 BoF보다 더 높은 인식 정확도를 달성한다.
• 희소 자동에코더의 사용은 더 구분력 있고 압축된 지역 패턴을 포착함으로써 특징 표현을 크게 향상시킨다.
• 시스템은 다양한 문자 체계(라틴, 아랍, 중국어, 일본어, 한국어 포함)에서 강력한 다국어 간 일반화 성능을 보이며, 높은 성능 유지를 유지한다.
• 자기에코더 내 희소성 제약 조건은 더 효율적이고 의미 있는 특징 학습을 이끌어내어 중복을 줄이고 분류 성능을 향상시킨다.
• 저조도 또는 노이즈가 많은 장면 이미지와 같은 도전적인 조건에서도 기존의 BoF 기반 모델에 비해 성능이 뛰어나다.
• 결과적으로 SAE를 통한 딥 러닝 기반 특징 학습이 다국어 장면 텍스트 인식을 위한 BoF 프레임워크 향상에 효과적임을 확인한다.