[논문 리뷰] HCR-Net: A deep learning based script independent handwritten character recognition network

Vinod Kumar Chauhan, Sukhdeep Singh외 1명|arXiv (Cornell University)|2021. 08. 15.

Handwritten Text Recognition Techniques참고 문헌 95인용 수 6

한 줄 요약

HCR-Net는 사전에 훈련된 VGG16 네트워크를 활용하는 부분 전이 학습 방식을 통해 소규모 데이터셋으로도 빠르고 계산적으로 효율적인 훈련이 가능한 스크립트 독립적 수기 문자 인식을 위한 새로운 딥러닝 아키텍처이다. 이는 40개의 다국어 데이터셋에서 최신 기술 수준의 성능을 달성하며, 26개의 새로운 벤치마크를 설정하고 최대 11%의 정확도 향상을 이끌어내며 첫 번째 에포크에 최종 성능의 99%에 도달한다.

ABSTRACT

Handwritten character recognition (HCR) remains a challenging pattern recognition problem despite decades of research, and lacks research on script independent recognition techniques. {\color{black}This is mainly because of similar character structures, different handwriting styles, diverse scripts, handcrafted feature extraction techniques, unavailability of data and code, and the development of script-specific deep learning techniques. To address these limitations, we have proposed a script independent deep learning network for HCR research, called HCR-Net, that sets a new research direction for the field. HCR-Net is based on a novel transfer learning approach for HCR, which extit{partly utilizes} feature extraction layers of a pre-trained network.} Due to transfer learning and image augmentation, HCR-Net provides faster and computationally efficient training, better performance and generalizations, and can work with small datasets. HCR-Net is extensively evaluated on 40 publicly available datasets of Bangla, Punjabi, Hindi, English, Swedish, Urdu, Farsi, Tibetan, Kannada, Malayalam, Telugu, Marathi, Nepali and Arabic languages, and established 26 new benchmark results while performed close to the best results in the rest cases. HCR-Net showed performance improvements up to 11\% against the existing results and achieved a fast convergence rate showing up to 99\% of final performance in the very first epoch. HCR-Net significantly outperformed the state-of-the-art transfer learning techniques and also reduced the number of trainable parameters by 34\% as compared with the corresponding pre-trained network. To facilitate reproducibility and further advancements of HCR research, the complete code is publicly released at \url{https://github.com/jmdvinodjmd/HCR-Net}.

연구 동기 및 목표

• 스クリ프트의 다양성, 노이즈가 많은 데이터, 공개된 데이터셋의 제한으로 인해 스크립트 독립적 수기 문자 인식(HCR)에 대한 연구가 부족한 점을 해결하기 위해.
• 수작업으로 설계된 특징에 의존하고 스크립트에 특화된 기존 HCR 방법의 한계를 극복하기 위해.
• 최소한의 데이터와 계산 비용으로 다수의 스크립트 간 일반화가 가능한 딥러닝 모델을 개발하기 위해.
• 전이 학습과 데이터 증강을 통해 일반화 능력 향상과 수렴 속도 향상을 향상시키기 위해.
• 공개된 전체 코드와 검증된 결과를 통해 재현 가능성을 확보하기 위해.

제안 방법

• HCR-Net는 사전에 훈련된 VGG16 네트워크의 특징을 사용하여 컨볼루션 계층을 초기화하는 부분 전이 학습 전략을 채택한다.
• 모델은 훈련 데이터의 다양성을 향상시키고 일반화 능력을 강화하기 위해 이미지 증강 기법을 사용한다.
• 새로운 아키텍처 설계는 VGG16의 초기 컨볼루션 블록들만 재사용하고 미세조정하여 학습 가능한 파라미터를 34% 감소시킨다.
• 다중 클래스 분류를 위해 교차 엔트로피 손실과 함께 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 모델는 벤치마크로 사용된 14개 언어(방글라어, 히브리어, 아랍어, 영어 등 포함)를 포함한 40개의 공개 데이터셋에서 평가된다.
• 미래 작업을 위해 계층적 버전을 제안하여 문자의 구조적 유사성으로 인한 오분류 문제를 해결하고자 한다.

실험 결과

연구 질문

• RQ1 다양한 언어에서 스크립트 독립적 수기 문자 인식에서 높은 성능을 달성할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 사전에 훈련된 VGG16 네트워크로부터 부분 전이 학습을 통해 소규모 데이터셋에서 수렴 속도와 일반화 능력이 어떻게 향상되는가?
• RQ3 이미지 증강과 아키텍처 설계가 성능 유지와 함께 학습 가능한 파라미터 수를 어떻게 줄이는가?
• RQ4 전체 정확도는 높지만 데바나가리 문자의 'ta'와 'na'와 같은 특정 문자들은 왜 여전히 잘못 분류되는가?
• RQ5 HCR-Net은 다국어 HCR 환경에서 기존의 전이 학습 기법보다 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• HCR-Net는 14개 언어(방글라어, 히브리어, 아랍어, 영어 등 포함)를 포함한 40개의 공개 데이터셋 중 26개에서 최신 기술 수준의 성능을 달성했다.
• 일부 벤치마크 데이터셋에서 기존 방법 대비 최대 11%의 정확도 향상을 기록했다.
• HCR-Net는 첫 번째 훈련 에포크 내에 최종 성능의 최대 99%에 도달하여 매우 빠른 수렴을 보였다.
• 기존 VGG16 네트워크 대비 학습 가능한 파라미터 수가 34% 감소하여 계산 효율성이 향상되었다.
• 오분류의 주요 원인은 문자 간 구조적 유사성(예: 'ta'와 'na'), 노이즈가 많은 데이터, 열악한 수기 품질이었다.
• 다국어 HCR 작업에서 정확도와 훈련 효율성 측면에서 기존의 전이 학습 기법보다 뚜렷이 뛰어난 성능을 보였다.