[論文レビュー] Enhance to Read Better: A Multi-Task Adversarial Network for Handwritten Document Image Enhancement

Sana Khamekhem Jemni, Mohamed Ali Souibgui+2 more|arXiv (Cornell University)|May 26, 2021

Handwritten Text Recognition Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、結合されたHTRモデルを用いて視覚的品質と文字認識の可読性を同時に最適化することで、劣化した手書き文書画像を向上させるマルチタスク敵対的ネットワークを提案する。CRNNベースの認識器をGANフレームワークに統合することで、正解テキストの監視を伴うエンドツーエンド学習により、H-DIBCOベンチマークで最先端の性能を達成し、バイナリゼーション品質と認識精度（CER/WER）の両方を顕著に向上させた。

ABSTRACT

Handwritten document images can be highly affected by degradation for different reasons: Paper ageing, daily-life scenarios (wrinkles, dust, etc.), bad scanning process and so on. These artifacts raise many readability issues for current Handwritten Text Recognition (HTR) algorithms and severely devalue their efficiency. In this paper, we propose an end to end architecture based on Generative Adversarial Networks (GANs) to recover the degraded documents into a clean and readable form. Unlike the most well-known document binarization methods, which try to improve the visual quality of the degraded document, the proposed architecture integrates a handwritten text recognizer that promotes the generated document image to be more readable. To the best of our knowledge, this is the first work to use the text information while binarizing handwritten documents. Extensive experiments conducted on degraded Arabic and Latin handwritten documents demonstrate the usefulness of integrating the recognizer within the GAN architecture, which improves both the visual quality and the readability of the degraded document images. Moreover, we outperform the state of the art in H-DIBCO challenges, after fine tuning our pre-trained model with synthetically degraded Latin handwritten images, on this task.

研究の動機と目的

• 既存の文書強化手法が正解画像との視覚的類似性のみを最適化しており、可読性の評価が行われないという限界を是正すること。
• 古びた、しわくちゃの、ノイズや汚れのあるスキャン画像など、重度に劣化した状況下でも、手書き文書のバイナリゼーションのロバスト性を向上させること。
• 手書き文字認識モデル（HTR）をGANの学習プロセスに統合し、強化された画像が視覚的にきれいであるだけでなく、意味的にも読み取り可能であることを保証すること。
• GAN最適化中に認識器を段階的に訓練することで、より良い認識性能（CERおよびWERの低減）が得られることを示すこと。
• 実世界の劣化した文書データセット、特にH-DIBCO 2018に対して本手法の有効性を検証し、既存の最先端手法を上回ることを示すこと。

提案手法

• 本手法は、劣化した文書画像を入力として受け取り、クリアで読みやすいバージョンを出力する条件付きGANアーキテクチャを採用する。
• 識別器は、実際のクリアな文書画像と生成された画像を区別するように学習され、視覚的な妥当性を保証する。
• 生成画像の可読性を評価するために、CRNNベースのHTRモデルが学習パイプラインに統合され、損失はコネクティスト・テンポラル分類（CTC）を介して計算される。
• 生成器は、敵対的損失、ピixeL単位の再構成損失、およびCTCベースの認識損失を組み合わせたマルチタスク損失を用いて学習され、画像品質とテキスト意味の両方を保持する。
• モデルは、IAM（ラテン文字）およびKHATT（アラビア文字）データセットの合成的劣化版で事前学習を行い、その後H-DIBCO 2016および2018で微調整することで、最適なバイナリゼーション性能を達成する。
• HTR部の段階的訓練が適用され、GAN学習中に生成器の出力に対して認識器を繰り返し更新することで、認識の一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 GAN学習ループに手書き文字認識器を統合することで、視覚的品質のみにとどまらず、強化された手書き文書画像の可読性が顕著に向上するか？
• RQ2 GAN最適化中にHTR部を段階的に訓練することで、固定された認識重みを用いたエンドツーエンド学習と比較して、より良い認識性能（CERおよびWERで測定）が得られるか？
• RQ3 微調整に用いるデータセットの選択がH-DIBCO 2016におけるバイナリゼーション性能に与える影響は何か？どのデータセットがトランスファーラーニングにおいて最も有益か？
• RQ4 H-DIBCO 2018のような文書バイナリゼーションベンチマークにおいて、本手法が既存の最先端手法を上回ることができるか、特に重度に劣化した画像においても同様か？
• RQ5 正解テキストが画像再構成損失に直接使われない状況でも、生成過程でテキスト情報を活用することで、より優れた強化結果が得られるか？

主な発見

• H-DIBCO 2016データセットにおいて、H-DIBCO、DIBCO、Nabuco、Bickley-diary、Palm-Leafデータセットで微調整した結果、PSNRが21.85に達し、他のすべての組み合わせを上回った。
• H-DIBCOおよびDIBCOデータセットを併用して微調整した結果、PSNRが21.85に達し、多様な劣化タイプを組み合わせることで一般化性能が向上することを示した。
• Palm-Leafデータセットの導入により性能が向上した一方、NabucoやBickley-diaryデータセットを追加すると結果が悪化したため、ドメイン不一致の問題が示唆された。
• 本手法はH-DIBCO 2018ベンチマークで最先端の性能を達成し、重度に劣化したラテン文字の文書において優れたバイナリゼーション品質と可読性を示した。
• GAN最適化中にHTRモデルを段階的に訓練した結果、CERおよびWERが低減し、認識監視の反復的精錬による利点が確認された。
• 定性的な結果では、正解に存在しない欠損ピクセルを回復させ、より読みやすいテキストを生成できることを示しており、図15で確認できる。