[논문 리뷰] Visual Script and Language Identification

Anguelos Nicolaou, Andrew D. Bagdanov외 2명|arXiv (Cornell University)|2016. 01. 08.

Handwritten Text Recognition Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 수작업으로 구성한 SRS-LBP 무늬 특징과 완전 연결 신경망을 사용하여 시각적 스크립트 및 언어 식별을 위한 딥러닝 방법을 제안한다. 초기층 활성화를 학습된 거리 측도로 활용함으로써, 수기로 쓴 글자 언어 식별에서 최고 성능을 달성하고, 영상 텍스트 스크립트 인식에서도 거의 최고 성능을 기록하며, 일부 경우에서 깊이 신경망(CNN)보다 더 나은 특징 일반화와 도메인 이동에 대한 강건성을 보였다.

ABSTRACT

In this paper we introduce a script identification method based on hand-crafted texture features and an artificial neural network. The proposed pipeline achieves near state-of-the-art performance for script identification of video-text and state-of-the-art performance on visual language identification of handwritten text. More than using the deep network as a classifier, the use of its intermediary activations as a learned metric demonstrates remarkable results and allows the use of discriminative models on unknown classes. Comparative experiments in video-text and text in the wild datasets provide insights on the internals of the proposed deep network.

연구 동기 및 목표

• 영상 텍스트, 스트리트 텍스트, 수기 텍스트를 포함한 다양한 텍스트 모odal에서 작동하는 강건한 시각적 스크립트 및 언어 식별 시스템을 개발하는 것.
• 동일한 스크립트를 공유하는 다수의 언어가 존재할 때조차도 OCR이나 언어 모델에 의존하지 않고도 시각적으로 언어를 식별하는 도전 과제를 해결하는 것.
• 딥 네트워크 활성화를 분류를 위한 학습된 거리 측도로 사용하여, 알려지지 않은 클래스로의 일반화 능력을 향상시키는 것.
• 수작업으로 구성한 무늬 특징와 얕은 딥 네트워크의 조합이 특정 시각적 텍스트 인식 환경에서 깊이 신경망(CNN)을 능가할 수 있음을 보여주는 것.

제안 방법

• 전처리 단계에서는 RGB 이미지를 주성분 채널로 변환하고, 중심 밴드가 평균보다 어두운 경우 이미지를 뒤집어, 전경-배경 대비를 표준화한다.
• SRS-LBP(Sparse Radial Sampling - Local Binary Pattern) 특징는 반경 3과 8개의 샘플링 포인트를 사용하여 텍스트 영역의 국소 무늬 패턴을 추출한다.
• SRS-LBP 특징에 대해 드롭아웃 정규화를 사용한 완전 연결 딥 신경망(Deep MLP)을 훈련한다. 이는 과적합을 방지하기 위함이다.
• Deep MLP의 첫 번째 은닉층 활성화를 k-NN 분류를 위한 학습된 거리 측도로 사용하며, 이는 출력층 직접 분류보다 더 나은 일반화 능력을 제공한다.
• 초기층 특징에 k-NN를 적용하는 방법은 여러 데이터셋에서 최종층과 후속층에 대한 k-NN보다 일관되게 뛰어난 성능을 보였다.
• 이 방법은 CVSI(영상 텍스트)와 SIW-10(수기 텍스트)라는 두 가지 벤치마크 데이터셋에서 평가되었으며, 특징 및 아키텍처 선택의 타당성을 검증하기 위해 추론 및 증강 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 수작업으로 구성한 무늬 특징와 딥 네트워크의 조합이 시각적 스크립트 및 언어 식별에서 최고 성능을 달성할 수 있는가?
• RQ2 딥 네트워크의 초기층 활성화를 학습된 거리 측도로 사용할 경우, 특히 알려지지 않은 클래스에 대한 일반화 능력 향상과 함께 분류 성능이 향상되는가?
• RQ3 완전 연결 네트워크의 성능은 영상 텍스트 및 스트리트 텍스트와 같은 작업에서 CNN과 비교해 어떻게 되는가?
• RQ4 SRS-LBP 특징는 수기 텍스트와 영상 텍스트와 같은 다양한 텍스트 모달 간에 얼마나 잘 일반화되는가?
• RQ5 OCR나 언어 모델에 의존하지 않고도 시각적 텍스트 패턴에 기반해 언어 식별을 효과적으로 수행할 수 있는가?

주요 결과

• 제안된 방법은 수기 텍스트 언어 식별에서 SIW-10 데이터셋에서 92.78%의 정확도를 달성하여 이 작업에서 최고 성능을 기록하였다.
• CVSI 데이터셋에서는 영상 텍스트 스크립트 식별에서 거의 최고 성능을 기록하였으며, 여러 CNN 기반 방법보다 뛰어난 성능을 보였다.
• Deep MLP의 첫 번째 은닉층 활성화에 k-NN를 적용한 결과, 최종층과 후속층에 대한 k-NN보다 뛰어난 성능을 기록하여, 초기층 특징가 학습된 거리 측도로서의 가치를 입증하였다.
• SRS-LBP 특징만으로도 간단한 SVM를 사용했을 때도 높은 성능(90.38% on SIW-10)을 기록하여, 이 특징 표현이 매우 분류 능력이 뛰어나다는 것을 시사한다.
• 다양한 훈련 런에서 일관된 수렴 행동과 과적합이 없는 현상은 드롭아웃 정규화가 훈련을 효과적으로 안정화시키고 일반화 능력을 향상시켰음을 시사한다.
• 증강된 SIW-10 데이터셋에 대한 추론 분석을 통해 초기 네트워크 층이 후속 층보다 더 일반적이고 이식 가능한 특징를 생성하는 것으로 확인되었으며, 이는 본 방법의 핵심 가설을 검증하였다.