[논문 리뷰] Improved Deep Convolutional Neural Network For Online Handwritten Chinese Character Recognition using Domain-Specific Knowledge

Weixin Yang, Lianwen Jin외 2명|arXiv (Cornell University)|2015. 05. 28.

Handwritten Text Recognition Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 하이브리드 순차-병렬(HSP) 앙상블 아키텍처에 도메인 특화 지식—예를 들어 획 변형, 경로 서명, 8방향 특징—을 통합하여 온라인 수기 중화자모스 recognition을 위한 개선된 딥 컨volution 신경망(DCNN)을 제안한다. 이 방법은 CASIA-OLHWDB1.0에서 97.20%의 정확도와 CASIA-OLHWDB1.1에서 96.87%의 정확도를 기록하여 이전 최고 성능 결과를 초월한다.

ABSTRACT

Deep convolutional neural networks (DCNNs) have achieved great success in various computer vision and pattern recognition applications, including those for handwritten Chinese character recognition (HCCR). However, most current DCNN-based HCCR approaches treat the handwritten sample simply as an image bitmap, ignoring some vital domain-specific information that may be useful but that cannot be learnt by traditional networks. In this paper, we propose an enhancement of the DCNN approach to online HCCR by incorporating a variety of domain-specific knowledge, including deformation, non-linear normalization, imaginary strokes, path signature, and 8-directional features. Our contribution is twofold. First, these domain-specific technologies are investigated and integrated with a DCNN to form a composite network to achieve improved performance. Second, the resulting DCNNs with diversity in their domain knowledge are combined using a hybrid serial-parallel (HSP) strategy. Consequently, we achieve a promising accuracy of 97.20% and 96.87% on CASIA-OLHWDB1.0 and CASIA-OLHWDB1.1, respectively, outperforming the best results previously reported in the literature.

연구 동기 및 목표

• 원시 이미지 픽셀을 초월한 도메인 특화 지식을 활용하여 온라인 수기 중화자모스 인식(HCCR)을 향상시키기 위해.
• 표준 DCNN가 온라인 수기에서의 구조적이고 동적인 획 특성들을 忽시하는 한계를 해결하기 위해.
• 다양한 도메인 특화 특징을 통합하여 향상된 특징 표현을 가능하게 하는 복합 DCNN 프레임워크를 설계하기 위해.
• 다양한 DCNN을 융합하여 일반화 능력과 정확도를 향상시키는 하이브리드 순차-병렬(HSP) 앙상블 전략을 개발하기 위해.

제안 방법

• 온라인 수기 궤적에서 획의 변형을 모델링하여 변형된 획의 특성을 포착하기 위해.
• 다양한 글쓰기 스타일 간의 획 패턴을 표준화하기 위해 비선형 정규화를 적용하기 위해.
• 특징 학습에서 공간적 맥락과 구조적 완전성을 향상시키기 위해 허구의 획을 도입하기 위해.
• 시간적 및 방향성 획 역학을 인코딩하기 위해 경로 서명 특징을 추출하기 위해.
• 국소적 기울기 패턴과 방향성 획 정보를 포착하기 위해 8방향 특징을 계산하기 위해.
• 다양한 도메인 특화 특징을 가진 다수의 전문화된 DCNN을 하이브리드 순차-병렬(HSP) 전략을 통해 융합하여 상호 보완적 강점을 활용하고 강건성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 획 변형과 경로 서명과 같은 도메인 특화 지식을 통합하면 온라인 HCCR에서 DCNN 성능이 향상될 수 있는가?
• RQ2 비선형 정규화와 허구의 획이 포함될 경우 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 도메인 특화 특징을 가진 다수의 DCNN을 최적의 방식으로 융합하면 정확도가 향상되는가?
• RQ4 제안된 HSP 앙상블 전략은 벤치마크 데이터셋에서 표준 DCNN과 단일 특징 모델보다 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 CASIA-OLHWDB1.0 데이터셋에서 97.20%의 정확도를 달성하여 이전 최고 성능 결과를 뛰어넘었다.
• CASIA-OLHWDB1.1 데이터셋에서는 96.87%의 정확도를 기록하여 다양한 글쓰기 스타일 간의 강력한 일반화 능력을 보였다.
• 경로 서명과 8방향 패턴과 같은 도메인 특화 특징의 통합은 특징 표현과 모델 성능을 크게 향상시켰다.
• 하이브리드 순차-병렬(HSP) 앙상블 전략은 다양한 DCNN을 효과적으로 융합하여 개별 모델 대비 강건성과 정확도를 향상시켰다.
• 비선형 정규화와 허구의 획 모델링은 온라인 수기 문자의 내부 클래스 변형을 다루는 데 있어 의미 있는 기여를 하였다.
• 결과는 도메인 특화 지식이 적절히 인코딩되고 융합될 경우, DCNN 기반 HCCR 시스템의 성능을 상당히 향상시킬 수 있음을 확인시켰다.