[논문 리뷰] Enhance to Read Better: A Multi-Task Adversarial Network for Handwritten Document Image Enhancement

Sana Khamekhem Jemni, Mohamed Ali Souibgui외 2명|arXiv (Cornell University)|2021. 05. 26.

Handwritten Text Recognition Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 가독성과 시각적 품질을 동시에 최적화하기 위해 연결된 HTR 모델을 사용하는 다중 작업 적대적 네트워크를 제안한다. CRNN 기반의 인식기 모델을 GAN 아키텍처에 통합함으로써, 지도 텍스트 감시를 통한 엔드 투 엔드 훈련을 통해 H-DIBCO 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 이진화 품질과 인식 정확도(CER/WER)를 크게 향상시켰다.

ABSTRACT

Handwritten document images can be highly affected by degradation for different reasons: Paper ageing, daily-life scenarios (wrinkles, dust, etc.), bad scanning process and so on. These artifacts raise many readability issues for current Handwritten Text Recognition (HTR) algorithms and severely devalue their efficiency. In this paper, we propose an end to end architecture based on Generative Adversarial Networks (GANs) to recover the degraded documents into a clean and readable form. Unlike the most well-known document binarization methods, which try to improve the visual quality of the degraded document, the proposed architecture integrates a handwritten text recognizer that promotes the generated document image to be more readable. To the best of our knowledge, this is the first work to use the text information while binarizing handwritten documents. Extensive experiments conducted on degraded Arabic and Latin handwritten documents demonstrate the usefulness of integrating the recognizer within the GAN architecture, which improves both the visual quality and the readability of the degraded document images. Moreover, we outperform the state of the art in H-DIBCO challenges, after fine tuning our pre-trained model with synthetically degraded Latin handwritten images, on this task.

연구 동기 및 목표

• 기존 문서 강화 방법이 지도 데이터와의 시각적 유사성만 최적화하고 가독성 평가를 하지 않는 한계를 해결하기 위해.
• 노화된, 주름진, 노이즈 및 얼룩이 있는 스캔 문서와 같은 극도로 열악한 조건에서도 손글씨 문서 이진화의 강건성을 향상시키기 위해.
• 손글씨 텍스트 인식기(HTR)를 GAN 훈련 과정에 통합하여 강화된 이미지가 뿐만 아니라 의미적으로 가독성이 있도록 보장하기 위해.
• GAN 최적화 동안 인식기 모델을 점진적으로 훈련시키면 더 낮은 CER 및 WER를 달성함으로써 더 나은 인식 성능을 얻을 수 있음을 입증하기 위해.
• 특히 H-DIBCO 2018과 같은 실제 열악한 문서 데이터셋에서의 효과성을 검증하고, 기존 최신 기술 수준 방법들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 제안된 방법은 조건부 GAN 아키텍처를 사용하며, 생성자는 열악한 문서 이미지를 입력으로 받아 청소된, 가독성이 높은 버전을 생성한다.
• 판별자는 실제 청소된 문서 이미지와 생성된 이미지를 구분하도록 훈련되어 시각적 타당성을 강제한다.
• 생성된 이미지의 가독성을 평가하기 위해 CRNN 기반의 HTR 모델이 훈련 파이프라인에 통합되며, 손실은 연결형 시간 분류(CTC)를 통해 계산된다.
• 생성자는 적대적 손실, 픽셀 단위 재구성 손실, CTC 기반 인식 손실을 조합한 다중 작업 손실을 사용하여 이미지 품질과 텍스트 의미를 모두 유지한다.
• 모델은 사전 훈련을 위해 IAM(Latin) 및 KHATT(Arabic) 데이터셋의 합성적으로 열악한 버전을 사용하고, 최적의 이진화 성능을 위해 H-DIBCO 2016 및 2018에서 미세조정된다.
• 점진적 훈련 기법을 적용하여, GAN 훈련 동안 생성기의 출력에 대해 인식기 모델을 반복적으로 업데이트함으로써 인식 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 GAN 훈련 루프에 손글씨 텍스트 인식기를 통합하면, 시각적 품질 외에도 강화된 손글씨 문서 이미지의 가독성 향상에 상당한 기여를 할 수 있는가?
• RQ2 GAN 최적화 동안 HTR 구성 요소를 점진적으로 훈련시키면, 고정된 인식 가중치를 사용하는 엔드 투 엔드 훈련보다 더 낮은 CER 및 WER 성능을 달성할 수 있는가?
• RQ3 미세조정 데이터셋의 선택이 H-DIBCO 2016에서의 이진화 성능에 어떤 영향을 미치며, 어떤 데이터셋이 전이 학습에 가장 유리한가?
• RQ4 제안된 방법이 H-DIBCO 2018과 같은 기존 최신 기술 수준의 문서 이진화 벤치마크에서, 특히 극도로 열악한 이미지에서 기존 최신 기술 수준 방법들을 능가할 수 있는가?
• RQ5 지상 진술 텍스트를 직접 이미지 재구성 손실에 사용하지 않더라도, 이미지 생성 과정에서 텍스트 정보를 활용하면 더 나은 강화 결과를 얻을 수 있는가?

주요 결과

• H-DIBCO 2016 데이터셋에서 H-DIBCO, DIBCO, Nabuco, Bickley-diary, Palm-Leaf 데이터셋을 함께 미세조정한 결과, PSNR가 21.85를 기록하여 모든 다른 조합보다 뛰어난 성능을 보였다.
• H-DIBCO와 DIBCO 데이터셋을 함께 사용한 미세조정 결과 PSNR가 21.85였으며, 이는 다양한 열악한 조건을 가진 데이터를 조합함으로써 일반화 성능 향상이 가능함을 시사한다.
• Palm-Leaf 데이터셋의 포함이 성능 향상에 기여한 반면, Nabuco나 Bickley-diary 데이터셋을 추가하면 성능 저하가 발생하여 도메인 불일치 문제의 가능성을 시사한다.
• H-DIBCO 2018 벤치마크에서 최신 기술 수준 성능을 달성하여, 극도로 열악한 라틴 문자 문서에서 뛰어난 이진화 품질과 가독성 향상을 입증하였다.
• GAN 최적화 동안 HTR 모델을 점진적으로 훈련시킨 결과 CER 및 WER가 낮아졌으며, 이는 반복적인 인식 감시 향상의 이점이 있음을 확인하였다.
• 정성적 결과는 모델이 지상 진술에 존재하지 않는 손실된 픽셀을 복원하여 더 가독성이 높은 텍스트를 생성할 수 있음을 보여주며, 그 예시로 그림 15를 제시하였다.