[논문 리뷰] Generating Synthetic Data for Text Recognition

Praveen Krishnan, C. V. Jawahar|arXiv (Cornell University)|2016. 08. 15.

Handwritten Text Recognition Techniques참고 문헌 14인용 수 35

한 줄 요약

이 논문은 공개된 손글씨 폰트를 사용하여 대규모 합성 손글씨 단어 이미지를 생성하기 위한 프레임워크를 제안한다. 아핀 변환과 가우시안 노이즈를 적용하여 자연스러운 글쓰기 변형을 시뮬레이션한다. 주요 기여는 900만 개의 합성 단어 이미지를 포함하는 IIIT-HWS 데이터셋을 공개한 것이다. 이는 손글씨 단어 인식 및 탐지에 대한 딥러닝 모델의 성능 향상에 기여한다.

ABSTRACT

Generating synthetic images is an art which emulates the natural process of image generation in a closest possible manner. In this work, we exploit such a framework for data generation in handwritten domain. We render synthetic data using open source fonts and incorporate data augmentation schemes. As part of this work, we release 9M synthetic handwritten word image corpus which could be useful for training deep network architectures and advancing the performance in handwritten word spotting and recognition tasks.

연구 동기 및 목표

• 딥러닝 모델을 훈련시키기 위한 대규모, 다양한 종류, 정확한 레이블이 부여된 손글씨 단어 이미지 데이터셋의 부족 문제를 해결하기 위해.
• IAM과 같은 기존 데이터셋이 낮은 어휘 크기, 제한된 단어 다양성, 불균형한 클래스 분포 등의 문제를 겪고 있다는 점을 해결하기 위해.
• 확장 가능한 합성 대체 자료를 제공함으로써 손글씨 단어 인식 및 탐지에 대한 심층 신경망의 강건한 훈련을 가능하게 하기 위해.
• 스토크 폭, 키팅, 회전, 시어, 배경 노이즈 등의 실제 손글씨 변형을 시뮬레이션하여 모델의 일반화 능력을 향상시키기 위해.
• 손글씨 문서 분석 분야의 연구를 가속화하기 위해 공개 가능한 대규모 합성 데이터셋(IIIT-HWS)을 제공하기 위해.

제안 방법

• 공개된 딕셔너리(Hunspell)에서 확보한 750종의 공개 손글씨 폰트를 사용하여 합성 손글씨 단어 이미지를 렌더링한다.
• 핵심 시각적 파라미터를 다양화한다: 키팅(문자 간 간격), 스트로크 폭, 그리고 IAM 데이터셋의 통계에 기반해 전경 및 배경 픽셀에 가우시안 노이즈를 적용한다.
• 무작위 회전(±5°), 수평 시어(±0.5°), 팯팅을 통한 이동을 포함한 아핀 변환을 적용하여 글쓰기의 다양성과 분할 오류를 시뮬레이션한다.
• ImageMagick를 사용해 렌더링하고, 실사감을 높이기 위해 가우시안 필터링을 적용하여 최종 이미지를 부드럽게 한다.
• 90,000개의 단어 어휘에서 각 단어당 100종의 다른 폰트를 샘플링하여 총 900만 개의 고유한 합성 단어 이미지를 생성한다.
• IAM 데이터셋에서 전경 및 배경 픽셀 분포를 학습하여 합성 이미지의 실제 픽셀 강도 통계를 보장한다.

실험 결과

연구 질문

• RQ1 손글씨 폰트와 제어 가능한 변형을 활용한 합성 데이터 생성이 딥러닝 모델 훈련에 적합한 현실적인 손글씨 단어 이미지를 생성할 수 있는가?
• RQ2 통제된 스타일 변형을 가진 합성 데이터가 실제 데이터셋과 비교해 손글씨 단어 인식 및 탐지 작업의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 폰트 기반의 렌더링과 아핀 증강의 조합이 실제 손글씨 스타일의 자연스러운 다양성을 얼마나 효과적으로 시뮬레이션할 수 있는가?
• RQ4 대규모 합성 데이터셋이 기존 실손글씨 데이터셋의 한계(어휘 크기 작음, 클래스 불균형 등)를 완화하는 데 얼마나 효과적인가?
• RQ5 실제 노이즈와 텍스처 모델링을 포함할 경우, 합성 데이터로 훈련된 인식 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 저자들은 750종의 공개 손글씨 폰트와 90,000개의 어휘 어휘를 기반으로 총 900만 개의 합성 손글씨 단어 이미지를 성공적으로 생성하였다.
• 합성 데이터는 실제 손글씨와 유사한 스트로크 폭, 키팅, 회전, 시어, 배경 노이즈 등의 변형을 포함하고 있어 자연스러운 글쓰기의 특성을 잘 반영하고 있다.
• IIIT-HWS 데이터셋은 공개되어 손글씨 단어 인식 및 탐지 분야의 연구를 지원하며, 이 분야의 데이터 부족 문제를 해결하고자 한다.
• 실제 데이터(IAM)의 픽셀 분포를 모델링하고 기하학적 변환을 적용함으로써 자연스러운 글쓰기 과정을 효과적으로 시뮬레이션하였다.
• 인간의 레이블링 없이도 확장 가능한 데이터 생성이 가능하여 데이터 수집 및 레이블링 비용을 크게 절감할 수 있었다.
• 저자들은 흐름 있는 글씨체의 합성과 탄성 왜곡 모델링을 향후 작업으로 지목하며, 현재 유연한 글쓰기 스타일을 모델링하는 데에 한계가 있음을 밝혔다.