[논문 리뷰] Online and Offline Handwritten Chinese Character Recognition: A Comprehensive Study and New Benchmark

Xu-Yao Zhang, Yoshua Bengio외 1명|arXiv (Cornell University)|2016. 06. 18.

Handwritten Text Recognition Techniques참고 문헌 56인용 수 13

한 줄 요약

이 논문은 온라인 및 오프라인 수기 중국어 문자 인식을 위한 도메인 특화 지식—형태 정규화 및 방향 분해 특징 맵—을 딥 컨volution 신경망과 통합한 새로운 directMap+convNet 프레임워크를 제안한다. 정규화를 고려한 directMap를 압축되고 분류 능력이 뛰어난 입력 표현으로 사용함으로써, 데이터 증강이나 모델 앙상블 없이도 ICDAR-2013 벤치마크에서 최신 기준 성능을 달성하였으며, 경량 적응 레이어를 통해 비지도적 글자 스타일 적응도 효과적으로 가능하게 하였다.

ABSTRACT

Recent deep learning based methods have achieved the state-of-the-art performance for handwritten Chinese character recognition (HCCR) by learning discriminative representations directly from raw data. Nevertheless, we believe that the long-and-well investigated domain-specific knowledge should still help to boost the performance of HCCR. By integrating the traditional normalization-cooperated direction-decomposed feature map (directMap) with the deep convolutional neural network (convNet), we are able to obtain new highest accuracies for both online and offline HCCR on the ICDAR-2013 competition database. With this new framework, we can eliminate the needs for data augmentation and model ensemble, which are widely used in other systems to achieve their best results. This makes our framework to be efficient and effective for both training and testing. Furthermore, although directMap+convNet can achieve the best results and surpass human-level performance, we show that writer adaptation in this case is still effective. A new adaptation layer is proposed to reduce the mismatch between training and test data on a particular source layer. The adaptation process can be efficiently and effectively implemented in an unsupervised manner. By adding the adaptation layer into the pre-trained convNet, it can adapt to the new handwriting styles of particular writers, and the recognition accuracy can be further improved consistently and significantly. This paper gives an overview and comparison of recent deep learning based approaches for HCCR, and also sets new benchmarks for both online and offline HCCR.

연구 동기 및 목표

• 딥 러닝과 도메인 특화 지식을 융합하여 수기 중국어 문자 인식의 정확도를 향상시키기.
• 이전 최신 기준 시스템에서 일반적으로 사용되는 데이터 증강 및 모델 앙상블에 의존하지 않도록 하기.
• 특정 글자 스타일 간 도메인 차이를 줄이기 위한 효율적이고 비지도적 글자 스타일 적응 방법 개발하기.
• 통일된 프레임워크 하에서 ICDAR-2013 데이터셋을 기반으로 온라인 및 오프라인 HCCR에 대한 새로운 기준 설정하기.
• 딥 러닝 모델이 인간 수준 성능에 도달한 이후에도, 체계적인 사전 지식이 여전히 크게 기여할 수 있음을 입증하기.

제안 방법

• 메서드는 원시 문자에 대해 방향 분해를 적용한 후 정규화를 수행하는 정규화를 고려한 방향 분해 특징 맵(directMap)을 사용한다. 이는 스트로크 방향성을 유지하면서도 내부 클래스 변동성을 감소시킨다.
• directMap은 d×n×n 희소 텐서로 표현되며, d는 양자화된 방향의 수이고 n은 맵의 크기이다. 이는 온라인 궤적과 오프라인 이미지 양쪽에서 방향성 스트로크 패턴을 인코딩한다.
• 11층의 딥 컨volution 신경망(convNet)이 directMap 표현을 기반으로 엔드 투 엔드로 훈련되어 계층적이고 분류 능력이 뛰어난 특징을 학습한다.
• 분포 불일치 문제를 해결하기 위해 새로운 비지도적 적응 레이어를 도입하였으며, 이는 특정 글자 스타일의 소스 레이어에서 훈련 및 테스트 데이터 간 분포 불일치를 줄이기 위해 제곱형 프로그래밍 문제로 공식화되었고, 닫힌 형태의 해를 가진다.
• 적은 양의 적응 데이터로도 효율적이고 효과적인 적응이 가능하여, 전체 네트워크 재학습 없이도 일관된 성능 향상을 이끌 수 있다.
• 이 프레임워크는 온라인 및 오프라인 HCCR에 동일하게 적용되어, 별도의 최적화 없이도 ICDAR-2013 벤치마크에서 SOTA 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 형태 정규화 및 방향 분해와 같은 도메인 특화 지식을 딥 러닝과 융합함으로써, 현재 최신 기준 방법을 초월한 HCCR 성능 향상을 이룰 수 있는가?
• RQ2 정규화를 고려한 directMap 표현은 정규화 기반 대안 대비 분류 능력과 강건성 측면에서 뛰어나다고 할 수 있는가?
• RQ3 통일된 딥 러닝 프레임워크가 별도의 최적화나 데이터 증강 없이도 온라인 및 오프라인 HCCR 양쪽에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 제한된 데이터로 새로운 글자 스타일에 대해 피지컬 튜닝을 수행할 때, 비지도적 글자 스타일 적응이 정확도 향상에 얼마나 기여하는가?
• RQ5 훈련 및 추론 모두에서 앙상블 기반 또는 데이터 증강에 의존하는 방법보다, 제안된 방법이 더 효율적이고 효과적인가?

주요 결과

• 정규화를 고려한 directMap는 정규화 기반 변형보다 뚜렷이 뛰어나며, 스트로크 방향성을 더 잘 유지하고 왜곡을 줄여 더 높은 정확도를 달성한다.
• directMap+convNet 프레임워크는 ICDAR-2013 벤치마크를 기반으로 한 온라인 및 오프라인 HCCR 작업에서 새로운 최신 기준 정확도를 달성하였으며, 인간 수준 성능을 초월하였다.
• 이 방법은 데이터 증강 및 모델 앙상블이 필요 없어지면서 훈련 및 추론 단계에서 계산 비용과 복잡성을 감소시켰다.
• 제안된 비지도적 적응 레이어는 특정 글자 스타일의 소스 레이어에서 훈련 및 테스트 데이터 간 도메인 차이를 효과적으로 줄여, 극소량의 적응 데이터로도 일관되고 뚜렷한 정확도 향상을 이끌어냈다.
• 이 프레임워크는 높은 일반화 능력과 효율성을 보였으며, 높은 인식 정확도와 낮은 메모리 사용량을 확보하여 개인 맞춤 수기 인식 시스템의 실생활 구현에 적합하다.