[논문 리뷰] Synthetic data generation for Indic handwritten text recognition

Partha Pratim Roy, Akash Mohta외 1명|arXiv (Cornell University)|2018. 04. 17.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 디지털 텍스트에 제어된 왜곡을 적용하여 자연스러운 손글씨 변형을 시뮬레이션함으로써 인디크 손글씨 텍스트 인식을 위한 합성 데이터 생성 방법을 제안한다. 이 방법은 데바나가리 및 벤골 문자에 대해 정확도를 향상시켜 문자, 숫자 및 단어 수준의 작업에서 성능을 향상시키며, 라틴 문자에도 효과적이어서 자원이 부족한 손글씨 인식 시스템에 광범위하게 적용 가능함을 입증한다.

ABSTRACT

This paper presents a novel approach to generate synthetic dataset for handwritten word recognition systems. It is difficult to recognize handwritten scripts for which sufficient training data is not readily available or it may be expensive to collect such data. Hence, it becomes hard to train recognition systems owing to lack of proper dataset. To overcome such problems, synthetic data could be used to create or expand the existing training dataset to improve recognition performance. Any available digital data from online newspaper and such sources can be used to generate synthetic data. In this paper, we propose to add distortion/deformation to digital data in such a way that the underlying pattern is preserved, so that the image so produced bears a close similarity to actual handwritten samples. The images thus produced can be used independently to train the system or be combined with natural handwritten data to augment the original dataset and improve the recognition system. We experimented using synthetic data to improve the recognition accuracy of isolated characters and words. The framework is tested on 2 Indic scripts - Devanagari (Hindi) and Bengali (Bangla), for numeral, character and word recognition. We have obtained encouraging results from the experiment. Finally, the experiment with Latin text verifies the utility of the approach.

연구 동기 및 목표

• 데바나가리 및 벤골과 같은 저자원 인디크 문자에 대해 레이블이 부여된 손글씨 데이터셋의 부족 문제를 해결하기 위해.
• 실제 손글씨 데이터 수집의 비용과 노력을 줄이기 위해 자연스러운 손글씨를 모방하는 합성 샘플을 생성하기 위해.
• 데이터 증강을 통해 고립된 문자 및 단어 인식 시스템의 인식 성능을 향상시키기 위해.
• 라틴 문자를 포함한 다양한 글자 체계에 걸쳐 방법의 일반화 능력을 검증하기 위해.
• 실제 텍스트 패턴을 유지하면서도 현실적인 왜곡을 도입하여 합성 데이터가 학습에 유용하게 유지되도록 하기 위해.

제안 방법

• 청결한 디지털 텍스트 이미지를 온라인 소스에서 확보하고, 이를 제어된 기하학적 및 광학적 왜곡을 적용하여 합성 데이터를 생성한다.
• 왜곡에는 워핑, 회전, 스케일링, 노이즈 추가 등이 포함되어 자연스러운 손글씨의 다양성을 시뮬레이션한다.
• 시각적 변화가 있음에도 불구하고 원본 텍스트의 내용과 구조는 의미적으로 그대로 유지된다.
• 생성된 합성 이미지는 독립적으로 또는 실제 손글씨 데이터와 결합하여 인식 모델 학습에 사용된다.
• 프레임워크는 데바나가리 및 벤골 문자를 사용한 고립된 문자 및 단어 인식 작업에서 평가된다.
• 제거 분석 및 교차 스크립트 평가(Latin)를 통해 합성 데이터의 강건성과 이식 가능성(transferability)을 검증한다.

실험 결과

연구 질문

• RQ1 디지털 텍스트의 왜곡을 통해 생성된 합성 데이터가 저자원 인디크 문자에 대해 인식 정확도를 향상시킬 수 있는가?
• RQ2 합성 데이터 증강이 고립된 문자 및 단어 인식 작업 성능에 어느 정도 기여하는가?
• RQ3 라틴 문자와 같은 비인디크 스크립트를 포함한 다양한 글자 체계로의 일반화 능력은 얼마나 우수한가?
• RQ4 합성 데이터는 현실적인 손글씨 유사 왜곡을 도입하면서도 의미적 내용을 유지하는가?
• RQ5 실제 손글씨 데이터와 결합했을 때 합성 데이터의 상대적 기여도는 어떠한가?

주요 결과

• 제안된 합성 데이터 생성 방법은 문자, 숫자, 단어 인식 작업 전반에서 데바나가리 및 벤골 문자에 대해 인식 정확도를 크게 향상시킨다.
• 합성 데이터와 실제 손글씨 데이터의 조합은 실제 데이터만을 사용할 때보다 더 우수한 성능을 낸다. 이는 효과적인 데이터 증강을 입증한다.
• 메서드는 라틴 문자로도 잘 일반화되어, 인디크 문자를 넘어서도 적용 가능함을 확인한다.
• 합성 샘플은 실제 손글씨 샘플과 시각적으로 유사하여 인식 시스템 학습에 적합하다.
• 이 방법은 저자원 손글씨 인식 환경에서 데이터 부족 문제를 효과적으로 해결한다.
• 결과적으로 왜곡 기반 합성 데이터 생성은 비용이 많이 드는 데이터 수집의 실질적이고 효과적인 대안임을 시사한다.