[논문 리뷰] Fully Convolutional Recurrent Network for Handwritten Chinese Text Recognition

Zecheng Xie, Zenghui Sun외 3명|arXiv (Cornell University)|2016. 04. 18.

Handwritten Text Recognition Techniques참고 문헌 21인용 수 14

한 줄 요약

이 논문은 경로 서명을 활용해 펜 끝 궤적을 인코딩하고, 언어 모델을 통합한 개선된 비트맵 검색을 사용하는 양방향 LSTM을 활용해 엔드 투 엔드 수작업자 한자 텍스트 인식을 위한 완전 컨volution 신경망(FCRN)을 제안한다. 이 방법은 CASIA-OLHWDB에서 96.40%의 정확도와 ICDAR 2013에서 95.00%의 정확도를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

This paper proposes an end-to-end framework, namely fully convolutional recurrent network (FCRN) for handwritten Chinese text recognition (HCTR). Unlike traditional methods that rely heavily on segmentation, our FCRN is trained with online text data directly and learns to associate the pen-tip trajectory with a sequence of characters. FCRN consists of four parts: a path-signature layer to extract signature features from the input pen-tip trajectory, a fully convolutional network to learn informative representation, a sequence modeling layer to make per-frame predictions on the input sequence and a transcription layer to translate the predictions into a label sequence. The FCRN is end-to-end trainable in contrast to conventional methods whose components are separately trained and tuned. We also present a refined beam search method that efficiently integrates the language model to decode the FCRN and significantly improve the recognition results. We evaluate the performance of the proposed method on the test sets from the databases CASIA-OLHWDB and ICDAR 2013 Chinese handwriting recognition competition, and both achieve state-of-the-art performance with correct rates of 96.40% and 95.00%, respectively.

연구 동기 및 목표

• 분할을 피하고 직접 펜 끝 궤적을 모델링함으로써 분할 없이 엔드 투 엔드 수작업자 한자 텍스트 인식 프레임워크를 개발하는 것.
• 개선된 비트맵 검색을 통해 언어 모델을 디코딩 과정에 통합함으로써 정확도를 향상시키는 것.
• 다양한 잘라내기 수준에서 경로 서명의 효과를 평가하여 동적 수작업 특징을 포착하는 데 기여하는지 연구하는 것.
• 과도한 분할이나 복잡한 래티스 기반 방법에 의존하지 않고 기준 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.
• 대규모 언어 모델 코퍼스가 순서 기반 인식에서 오류율을 감소시키는 데 미치는 영향을 조사하는 것.

제안 방법

• FCRN은 온라인 수작업 데이터에서 펜 끝 궤적의 동역학을 고유하게 표현하는 2^{n+1}-1개의 특징 맵을 생성하기 위해 경로 서명 레이어를 사용한다.
• 완전 컨volution 신경망은 서명 특징 맵을 처리하여 각각 126×62의 수신 영역에 해당하는 문맥 특징 시퀀스를 생성한다.
• 다중층 양방향 LSTM은 특징 시퀀스를 처리하여 프레임별 문자 확률을 예측하며, 궤적 내 장거리 의존성을 모델링한다.
• 전사 레이어는 개선된 비트맵 검색을 사용해 프레임별 예측을 최종 레이블 시퀀스로 디코딩한다. 이 방법은 언어 모델 제약 조건을 통합한다.
• 개선된 비트맵 검색 방법은 FCRN의 출력과 함께 n-gram 언어 모델을 효율적으로 통합하여, 어휘적 및 언어적 맥락을 반영함으로써 디코딩 정확도를 향상시킨다.
• 전체 네트워크는 참조 레이블 시퀀스의 음의 로그 우도를 최소화함으로써 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 원시 펜 끝 궤적을 모델링함으로써 분할 없이 완전 컨volution 순환 신경망이 수작업자 한자 텍스트 인식을 효과적으로 수행할 수 있는가?
• RQ2 다양한 잘라내기 수준(n=0에서 n=3까지)에서 경로 서명 표현 방식이 인식 성능와 계산 비용에 어떤 영향을 미치는가?
• RQ3 비트맵 검색을 통한 언어 모델 통합이 엔드 투 엔드 HCTR 시스템에서 정확도 향상에 얼마나 기여하는가?
• RQ4 더 큰, 더 풍부한 언어 모델 코퍼스(예: 5600만 자의 SLD)를 사용할 경우, 더 작은 코퍼스에 비해 오류율을 유의미하게 감소시키는가?
• RQ5 제안된 FCRN은 CASIA-OLHWDB와 ICDAR 2013과 같은 표준 벤치마크에서 이전 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 경로 서명을 두 번째 수준(Sig2)에서 잘라낸 FCRN가 성능과 계산 비용 사이의 최적 균형을 달성하여, CASIA-OLHWDB에서 94.52%의 정확도와 D-Com에서 89.86%의 정확도를 기록했다.
• SLD 코퍼스 기반의 트리그램 언어 모델을 통합함으로써 CASIA-OLHWDB에서 96.40%의 정확도와 D-Com에서 95.00%의 정확도를 달성하여, 두 데이터셋 모두에서 이전의 모든 방법을 능가했다.
• 개선된 비트맵 검색 방법은 언어 모델 통합 시 오류율을 2%-5% 감소시켜 인식 성능 향상에 뚜렷한 기여를 하였다.
• FCRN는 CASIA-OLHWDB에서 CRNN 베이스라인보다 4.58%p, D-Com에서는 4.95%p 높은 성능을 기록하여 경로 서명과 엔드 투 엔드 학습의 우수성을 입증했다.
• 이 시스템은 두 벤치마크 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, CASIA-OLHWDB에서 가장 높은 정확도(96.40%)를 기록했고, ICDAR 2013에서도 뛰어난 성능을 보였다.
• D-Casia에서 성능이 D-Com보다 높은 것은 문자 분포의 불균형 때문이며, 일반화 능력을 향상시키기 위해 데이터 증강이 필요하다는 점을 시사한다.