[논문 리뷰] Trajectory-based Radical Analysis Network for Online Handwritten Chinese Character Recognition

Jianshu Zhang, Yixing Zhu외 2명|arXiv (Cornell University)|2018. 01. 22.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 온라인 수기 중국어 문자 인식을 위한 궤적 기반 라디칼 분석 네트워크(TRAN)를 제안한다. 이 네트워크는 순환 신경망과 주목기법을 활용하여 라디칼과 그 공간적 구조를 식별함으로써, 미리 보지 않은 문자의 인식을 가능하게 한다. TRAN은 학습된 라디칼에서 유추하여 500개의 새로운 문자 클래스에 대해 60.37%의 문자 정확도를 달성하며, CASIA-OLHWDB에서 최신 기법 대비 10% 상대적 CER 감소를 기록한다.

ABSTRACT

Recently, great progress has been made for online handwritten Chinese character recognition due to the emergence of deep learning techniques. However, previous research mostly treated each Chinese character as one class without explicitly considering its inherent structure, namely the radical components with complicated geometry. In this study, we propose a novel trajectory-based radical analysis network (TRAN) to firstly identify radicals and analyze two-dimensional structures among radicals simultaneously, then recognize Chinese characters by generating captions of them based on the analysis of their internal radicals. The proposed TRAN employs recurrent neural networks (RNNs) as both an encoder and a decoder. The RNN encoder makes full use of online information by directly transforming handwriting trajectory into high-level features. The RNN decoder aims at generating the caption by detecting radicals and spatial structures through an attention model. The manner of treating a Chinese character as a two-dimensional composition of radicals can reduce the size of vocabulary and enable TRAN to possess the capability of recognizing unseen Chinese character classes, only if the corresponding radicals have been seen. Evaluated on CASIA-OLHWDB database, the proposed approach significantly outperforms the state-of-the-art whole-character modeling approach with a relative character error rate (CER) reduction of 10%. Meanwhile, for the case of recognition of 500 unseen Chinese characters, TRAN can achieve a character accuracy of about 60% while the traditional whole-character method has no capability to handle them.

연구 동기 및 목표

• 미리 보지 않은 중국어 문자를 온라인 수기 인식에서 효과적으로 인식하기 위한 도전 과제를 해결하기 위해 구조적 구성 요소를 활용한다.
• 라디칼과 그 공간적 관계를 모델링하여 인식 성능을 향상시킨다.
• 라디칼 수준의 학습을 통해 새로운 문자의 제로샷 인식을 가능하게 하여 어휘 크기와 중복을 줄인다.
• 주목기반 RNN을 사용하여 라디칼 탐지와 구조 분석을 동시에 학습할 수 있는 엔드 투 엔드 학습 가능한 모델을 개발한다.
• 이미지 기반 방법에서 손실되는 동적 수기 정보를 유지하기 위해 순차적 궤적 데이터를 직접 처리한다.

제안 방법

• 모델은 원시 온라인 수기 궤적(x, y 좌표)을 고수준 특징으로 변환하기 위해 이방향 RNN 인코더를 사용한다.
• 단방향 RNN 디코더는 커버리지 기반 주목기법을 사용하여 관련 궤적 세그먼트에 집중하면서 기호별로 문자 레이블을 생성한다.
• 주목기법은 특정 궤적 영역에 주목함으로써 라디칼 구성 요소와 공간적 구조(예: 상하, 좌우)에 동적으로 정렬된다.
• 라디칼과 공간적 관계는 구조적 레이블로 표현되며, 중괄호 {}를 사용하여 2차원 배열을 나타낸다.
• 네트워크는 정확한 문자 레이블 예측을 위해 공동 최적화되어 엔드 투 엔드 학습이 가능하다.
• 모델은 문자 분해로부터 유도된 라디칼 수준의 지도 정보를 활용하여 CASIA-OLHWDB 데이터셋에서 훈련된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 라디칼 조합과 공간적 구조를 분석함으로써 온라인 수기 중국어 문자를 효과적으로 인식할 수 있는가?
• RQ2 모델이 훈련 중에 본 구성 라디칼을 가진 새로운 중국어 문자 클래스에 대해 일반화할 수 있는가?
• RQ3 주목기반 순차 모델링이 온라인 수기 데이터에서 전체 문자 모델링 대비 인식 성능을 향상시키는가?
• RQ4 주목기법이 인간의 직관적 라디칼 분할과 구조 분석과 잘 일치하는가?
• RQ5 궤적 시퀀스의 직접 처리가 정확도와 제로샷 일반화 측면에서 이미지 기반 표현 방식보다 우수한가?

주요 결과

• TRAN은 CASIA-OLHWDB 데이터셋에서 최신 기법의 전체 문자 모델링 대비 10% 상대적 CER 감소를 기록한다.
• 3,255개의 문자 클래스에서 훈련된 TRAN은 500개의 새로운 중국어 문자 클래스에서 60.37%의 문자 정확도를 달성하여 효과적인 제로샷 일반화를 보여준다.
• 더 큰 훈련 세트를 사용할수록 새로운 문자의 인식 성능이 향상되며, 2,755개의 훈련 클래스에서 50.45%의 정확도를 기록한다.
• 주목 시각화 결과는 모델이 인간의 직관과 잘 일치함을 확인하였으며, 라디칼 경계와 상하, 좌우 배열과 같은 공간적 구조를 정확히 식별한다.
• 전통적인 전체 문자 방법은 새로운 문자에서 0%의 정확도를 기록하는 등, 본 연구 모델는 새로운 문자에서 더 뛰어난 성능을 보인다.
• RNN을 통한 궤적 시퀀스 직접 인코딩은 동적 수기 정보를 유지하여 정적 이미지 기반 방법보다 더 뛰어난 성능을 낸다.