[논문 리뷰] Pattern Generation Strategies for Improving Recognition of Handwritten Mathematical Expressions

Anh Duc Le, Bipin Indurkhya외 1명|arXiv (Cornell University)|2019. 01. 21.

Handwritten Text Recognition Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 제한된 훈련 데이터를 사용하여 수기 수식(HME) 인식 성능을 향상시키기 위해 패턴 생성 전략을 제안한다. 현업 HME의 局부/전체 왜곡 및 구조적 분해를 적용하여 합성 데이터를 생성함으로써, 엔드 투 엔드 딥 러닝 시스템에서 성능 향상을 이룩하였으며, CROHME 2014와 2016에서 각각 48.78% 및 45.60%의 분류 정확도를 달성하여 소규모 데이터셋에서 기존 방법을 능가한다.

ABSTRACT

Recognition of Handwritten Mathematical Expressions (HMEs) is a challenging problem because of the ambiguity and complexity of two-dimensional handwriting. Moreover, the lack of large training data is a serious issue, especially for academic recognition systems. In this paper, we propose pattern generation strategies that generate shape and structural variations to improve the performance of recognition systems based on a small training set. For data generation, we employ the public databases: CROHME 2014 and 2016 of online HMEs. The first strategy employs local and global distortions to generate shape variations. The second strategy decomposes an online HME into sub-online HMEs to get more structural variations. The hybrid strategy combines both these strategies to maximize shape and structural variations. The generated online HMEs are converted to images for offline HME recognition. We tested our strategies in an end-to-end recognition system constructed from a recent deep learning model: Convolutional Neural Network and attention-based encoder-decoder. The results of experiments on the CROHME 2014 and 2016 databases demonstrate the superiority and effectiveness of our strategies: our hybrid strategy achieved classification rates of 48.78% and 45.60%, respectively, on these databases. These results are competitive compared to others reported in recent literature. Our generated datasets are openly available for research community and constitute a useful resource for the HME recognition research in future.

연구 동기 및 목표

• 수기 수식(HME) 인식 시스템의 제한된 애너테이션 훈련 데이터 문제를 해결하기 위해.
• 합성 데이터 생성을 통해 데이터 부족 상황에서의 인식 성능 향상을 위해.
• 형태 및 구조적 다양성을 향상시키는 데 목적이 있는 패턴 생성 전략을 개발하고 평가하기 위해.
• 미래 HME 연구를 위한 공개 가능하고 고품질의 합성 데이터셋을 구축하기 위해.
• 엔드 투 엔드 딥 러닝 인식 시스템에서 하이브리드 데이터 증강 전략의 효과성을 검증하기 위해.

제안 방법

• 저자들은 CROHME 2014 및 2016 데이터셋의 현업 HME에 국소적/전체 왜곡을 적용하여 형태 변형을 생성한다.
• 전체 현업 HME를 하위 현업 HME로 분해하여 구조적 변형을 생성한다.
• 왜곡 기반 및 분해 기반 생성 전략을 결합한 하이브리드 전략을 통해 다양성을 극대화한다.
• 생성된 현업 HME는 오프라인 인식 평가를 위해 이미지 형식으로 변환된다.
• CNN과 어텐션 기반 인코더-디코더를 기반으로 한 엔드 투 엔드 인식 시스템을 사용하여 성능을 평가한다.
• 공개된 CROHME 데이터셋을 기반으로 합성 데이터 생성을 위한 기초 자료로 활용한다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터에서 합성 데이터 생성이 수기 수식 인식 정확도 향상에 기여할 수 있는가?
• RQ2 국소적 및 전역 왜곡은 HME의 형태 변형 생성에 얼마나 효과적인가?
• RQ3 HME의 구조적 분해는 인식 성능 향상에 어느 정도 기여하는가?
• RQ4 형태 및 구조적 변형 생성을 병합한 전략은 개별 전략보다 우수한 결과를 낼 수 있는가?
• RQ5 생성된 합성 데이터셋은 향후 HME 연구에 실질적인 자원이 될 수 있는가?

주요 결과

• 하이브리드 패턴 생성 전략은 CROHME 2014 데이터셋에서 48.78%의 분류 정확도를 달성하여 뛰어난 성능을 보였다.
• CROHME 2016 데이터셋에서는 하이브리드 전략이 45.60%의 분류 정확도를 기록하여 일관된 향상을 보였다.
• 제안된 데이터 생성 전략은 저자료 환경에서 기준 방법보다 뚜렷한 성능 향상을 보였다.
• 생성된 합성 데이터셋은 공개되어 있어 향후 HME 연구에 유용한 자원이 되었다.
• 하이브리드 생성을 통한 형태 및 구조적 변형의 조합이 가장 뛰어난 인식 결과를 도출하였다.
• 엔드 투 엔드 딥 러닝 시스템은 증강된 데이터를 효과적으로 활용하여 방법의 확장성과 강건성을 입증하였다.