[논문 리뷰] Handwritten Text Segmentation via End-to-End Learning of Convolutional Neural Network

Junho Jo, Hyung Il Koo외 2명|arXiv (Cornell University)|2019. 06. 12.

Handwritten Text Recognition Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 혼합형 문서에서 수기로 쓴 텍스트 분할을 위한 엔드 투 엔드 컨볼루션 신경망(CNN)을 제안하며, 기존의 이중 단계 전처리를 회피하기 위해 이 작업을 픽셀 단위 분류 문제로 재정의한다. 이 방법은 U-Net 아키텍처를 사용하고, 클래스 불균형 문제를 해결하기 위해 새로운 동적 균형 잠재 교차 엔트로피 손실과 포칼 손실을 도입한다. 또한, 픽셀 수준의 애너테이션이 있는 현실적인 훈련 이미지를 생성하기 위한 데이터 합성 파이프라인을 제안한다. 실제 데이터에 대한 애너테이션 없이 유일하게 합성 데이터로 훈련된 모델은 실제 손으로 쓴 문서에서 OCR 정확도를 71.13%에서 92.50%로 향상시켰다.

ABSTRACT

We present a new handwritten text segmentation method by training a convolutional neural network (CNN) in an end-to-end manner. Many conventional methods addressed this problem by extracting connected components and then classifying them. However, this two-step approach has limitations when handwritten components and machine-printed parts are overlapping. Unlike conventional methods, we develop an end-to-end deep CNN for this problem, which does not need any preprocessing steps. Since there is no publicly available dataset for this goal and pixel-wise annotations are time-consuming and costly, we also propose a data synthesis algorithm that generates realistic training samples. For training our network, we develop a cross-entropy based loss function that addresses the imbalance problems. Experimental results on synthetic and real images show the effectiveness of the proposed method. Specifically, the proposed network has been trained solely on synthetic images, nevertheless the removal of handwritten text in real documents improves OCR performance from 71.13% to 92.50%, showing the generalization performance of our network and synthesized images.

연구 동기 및 목표

• 스캔된 문서에서 겹치는 수기 및 기계 인쇄 텍스트를 분리하는 데 어려움을 해결하기 위해.
• 이진화 및 연결 성분 추출 등의 전처리 단계에 의존하지 않도록, 분할을 엔드 투 엔드 픽셀 단위 분류 작업으로 재정의하기 위해.
• 훈련 중 수기 텍스트 픽셀과 배경 픽셀 간의 심각한 클래스 불균형 문제를 해결하기 위해 새로운 손실 함수를 제안하기 위해.
• 이 작업을 위한 공개 데이터셋이 없기 때문에, 정확한 픽셀 수준 애너테이션을 가진 현실적인 합성 훈련 데이터를 생성하기 위해.

제안 방법

• 이 방법은 U-Net 기반의 CNN을 사용하여 픽셀 단위 분류를 수행하며, 수기 텍스트 픽셀에는 '1'을, 나머지(배경, 기계 인쇄 텍스트, 표 등)에는 '-1'을 할당한다.
• 희귀(수기) 클래스와 빈번(배경) 클래스의 가중치를 적응적으로 조정함으로써 클래스 불균형 문제를 완화하기 위해 새로운 손실 함수인 동적 균형 잠재 교차 엔트로피(DBCE)를 제안한다.
• 기계 인쇄 텍스트 영역에서의 잘못된 분류가 성능을 떨어뜨리는 문제를 해결하기 위해, 포칼 손실을 추가로 통합하여 손실 함수를 더욱 향상시킨다.
• 스캔된 수기 텍스트(IAm 데이터셋에서), 기계 인쇄 텍스트(PRImA 데이터셋에서), 그리고 양식 이미지를 조합하여, 질감과 노이즈 특성을 유지한 채로 현실적인 문서 이미지를 생성하는 데이터 합성 파이프라인을 구현한다.
• 이미지 블렌딩과 기하학적 변환을 사용하여 실제 문서에서 관찰되는 현실적인 겹침과 왜곡을 시뮬레이션한다.
• 신경망은 유일하게 합성 데이터로 훈련되며, 실제 데이터에 대한 애너테이션을 필요로 하지 않기 때문에 실제 문서로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 접근 방식이 겹치는 혼합형 문서에서 수기 텍스트 분할에 있어 기존의 이중 단계 방법(예: 연결 성분 추출 + 분류)을 능가할 수 있는가?
• RQ2 희소한 수기 픽셀을 가진 합성 데이터에서 훈련할 경우, 동적 균형 잠재 교차 엔트로피 손실이 클래스 불균형 문제를 얼마나 효과적으로 완화하는가?
• RQ3 합성 데이터로만 훈련된 모델이 복잡한 겹침을 가진 실제 문서 이미지로의 일반화 능력은 어느 정도인가?
• RQ4 데이터 합성 방법이 실제 스캔 문서의 시각적 및 구조적 특성을 유지하면서 현실적인 훈련 샘플을 생성할 수 있는가?

주요 결과

• 합성 데이터로만 훈련된 제안된 모델은 실제 손으로 쓴 문서 이미지에서 검출된 수기 텍스트 픽셀을 제거한 후 OCR 정확도를 71.13%에서 92.50%로 향상시켰으며, 합성 데이터로만 훈련되었음에도 불구하고 강력한 일반화 능력을 입증했다.
• 기존의 교차 엔트로피 대비 동적 균형 잠재 교차 엔트로피(DBCE) 손실은 수기 픽셀의 잘못된 분류를 크게 감소시켜, 합성 데이터에서의 IoU를 95.88%에서 97.20%로 향상시켰다.
• DBCE와 포칼 손실의 조합(DBCEF)은 합성 테스트 세트에서 최고의 테스트 IoU 97.80%를 기록했으며, 개별 구성 요소나 기준 모델보다 뛰어난 성능을 보였다.
• 제거 실험을 통해 DBCE와 포칼 손실이 모두 필수적임을 확인했다: DBCE는 클래스 불균형 문제를 완화하고, 포칼 손실은 기계 인쇄 영역에서의 잘못된 분류를 줄였다.
• 전체 DBCEF 손실을 사용할 경우, 합성 검증 세트에서 IoU가 99.94%에 도달하여 합성 데이터에서 높은 분할 정확도를 보였다.