[논문 리뷰] DenseRAN for Offline Handwritten Chinese Character Recognition

Wenchao Wang, Jianshu Zhang외 3명|arXiv (Cornell University)|2018. 08. 13.

Handwritten Text Recognition Techniques참고 문헌 21인용 수 11

한 줄 요약

이 논문은 라디칼과 2차원 구조적 구성요소를 분석함으로써 오프라인 수기 중국어 문자를 인식하는 새로운 주의 기반 인코더-디코더 모델인 DenseRAN을 제안한다. DenseNet을 특징 인코딩에 활용하고, 커버리지 인식 공간 주의 메커니즘을 갖춘 GRU 기반 디코더를 사용함으로써, ICDAR-2013에서 문자 오류률(CER)을 18.54% 감소시키며, CASIA-HWDB1.2의 미사용 중국어 문자에서 40.82%의 정확도를 달성하여 보이는 문자 클래스를 초월한 강력한 일반화 능력을 입증한다.

ABSTRACT

Recently, great success has been achieved in offline handwritten Chinese character recognition by using deep learning methods. Chinese characters are mainly logographic and consist of basic radicals, however, previous research mostly treated each Chinese character as a whole without explicitly considering its internal two-dimensional structure and radicals. In this study, we propose a novel radical analysis network with densely connected architecture (DenseRAN) to analyze Chinese character radicals and its two-dimensional structures simultaneously. DenseRAN first encodes input image to high-level visual features by employing DenseNet as an encoder. Then a decoder based on recurrent neural networks is employed, aiming at generating captions of Chinese characters by detecting radicals and two-dimensional structures through attention mechanism. The manner of treating a Chinese character as a composition of two-dimensional structures and radicals can reduce the size of vocabulary and enable DenseRAN to possess the capability of recognizing unseen Chinese character classes, only if the corresponding radicals have been seen in training set. Evaluated on ICDAR-2013 competition database, the proposed approach significantly outperforms whole-character modeling approach with a relative character error rate (CER) reduction of 18.54%. Meanwhile, for the case of recognizing 3277 unseen Chinese characters in CASIA-HWDB1.2 database, DenseRAN can achieve a character accuracy of about 41% while the traditional whole-character method has no capability to handle them.

연구 동기 및 목표

• 보이는 문자 클래스 외의 중국어 문자를 인식하는 데 있어 전체 문자 모델링의 한계를 극복하기 위해 내부 구조 및 라디칼 조합을 활용하는 것.
• 중국어 문자를 통합 단위가 아니라 라디칼과 공간 관계의 순서로 모델링함으로써, 보이지 않는 클래스로의 일반화를 가능하게 하는 것.
• 구조적 및 부분 구조적 패턴을 명시적으로 학습함으로써 다양한 수기 스타일에 대한 인식 내성 향상.
• 라디칼과 공간 구성 요소를 동시에 탐지할 수 있는 엔드 투 엔드 훈련 가능한 주의 기반 아키텍처 개발

제안 방법

• DenseRAN은 회색조 수기 문자 이미지에서 고수준 시각적 특징을 추출하기 위해 DenseNet을 인코더로 사용한다.
• GRU 기반 디코더는 단계적으로 기술적 문장(캡션)을 생성하며, 라디칼과 그 두차원 공간 배치를 식별한다.
• 디코더는 입력 이미지의 다양한 영역에 동적으로 주의를 기울이는 커버리지 기반 공간 주의 메커니즘을 사용하여 인간의 시각적 주의 방식을 모방한다.
• 지식 기반 캡션을 예측하기 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 라디칼 및 구조 탐지는 수동 분할 또는 과다 분할 없이 주의 메커니즘을 통해 암묵적으로 학습된다.
• 아키텍처는 제로샷 일반화를 가능하게 하며, 훈련 중에 볼 수 있었던 구성 라디칼이 있는 경우, 보이지 않는 문자도 인식할 수 있다.

실험 결과

연구 질문

• RQ1 전체 문자 모델링 대비 내부 라디칼과 공간 구조를 분석함으로써 중국어 문자 인식 성능 향상이 가능한가?
• RQ2 기존 라디칼과 구조 패턴을 활용할 경우, 딥 러닝 모델이 보이지 않는 중국어 문자 클래스로 얼마나 잘 일반화되는가?
• RQ3 라디칼과 구조에 대한 주의 기반 탐지 방식이 수기 변형에 대해 얼마나 강건한가?
• RQ4 어떤 종류의 구조적 구성이 가장 오분류되기 쉬운가, 그리고 그 이유는 무엇인가?
• RQ5 주의 메커니즘이 모델의 인식 결정 과정에 대해 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• DenseRAN은 ICDAR-2013 데이터셋에서 전체 문자 모델링 대비 상대적 문자 오류률(CER)을 18.54% 감소시켰다.
• ICDAR-2013 1000개 클래스 테스트 세트에서, 훈련 시 본 클래스 수가 500개일 경우 정확도는 1.70%에서, 2755개일 경우 30.68%로 상승하여 강력한 확장성 잠재력을 입증했다.
• CASIA-HWDB1.2의 3277개의 미사용 문자에 대해 DenseRAN은 문자 정확도 40.82%를 달성했으며, 전체 문자 모델은 보이지 않는 클래스에서 완전히 실패했다.
• 가장 흔한 오분류는 '잠금' 구조가 'd' 구조로 잘못 인식되는 것으로, 3.45%의 오류율을 보였으며, 이는 낙서 같은 수기 스타일로 인해 구성 요소가 분리되기 때문이다.
• 오류 분석 결과, 미세한 라디칼 차이를 가진 문자가 가장 자주 혼동되며, 특히 단일 구조 문자에서 두드러진다.
• 주의 시각화 결과, DenseRAN이 보이지 않는 문자에 대해서도 인간의 직관과 유사하게 단계적으로 라디칼과 구조에 주의를 기울이는 것으로 확인되었다.