[論文レビュー] BiNet: Degraded-Manuscript Binarization in Diverse Document Textures and Layouts using Deep Encoder-Decoder Networks

Maruf A. Dhali, Jan Willem de Wit+1 more|arXiv (Cornell University)|Nov 13, 2019

Handwritten Text Recognition Techniques参考文献 64被引用数 10

ひとこと要約

本稿では、マルチスペクトル画像融合とトランスファーラーニングを用いて、重度に劣化した歴史的文書、特にデッド・シー・スクロールズの二値化を目的とした、深層エンコーダデコーダ型U-Net変種であるBiNetを提案する。DSSおよびH-DIBCOデータセットの両方で最先端の性能を達成し、複雑で低コントラストな背景からインクを正確に分離するとともに、再構築や平滑化を施さずに元の書き取りの詳細を保持する。

ABSTRACT

Handwritten document-image binarization is a semantic segmentation process to differentiate ink pixels from background pixels. It is one of the essential steps towards character recognition, writer identification, and script-style evolution analysis. The binarization task itself is challenging due to the vast diversity of writing styles, inks, and paper materials. It is even more difficult for historical manuscripts due to the aging and degradation of the documents over time. One of such manuscripts is the Dead Sea Scrolls (DSS) image collection, which poses extreme challenges for the existing binarization techniques. This article proposes a new binarization technique for the DSS images using the deep encoder-decoder networks. Although the artificial neural network proposed here is primarily designed to binarize the DSS images, it can be trained on different manuscript collections as well. Additionally, the use of transfer learning makes the network already utilizable for a wide range of handwritten documents, making it a unique multi-purpose tool for binarization. Qualitative results and several quantitative comparisons using both historical manuscripts and datasets from handwritten document image binarization competition (H-DIBCO and DIBCO) exhibit the robustness and the effectiveness of the system. The best performing network architecture proposed here is a variant of the U-Net encoder-decoders.

研究の動機と目的

• 極度に劣化した歴史的文書の二値化に取り組むこと。特に、インクと背景のコントラストが著しく変動し、複雑なテクスチャを有する文書に対して。
• デッド・シー・スクロールズを越えて、多様な文書コレクションに適用可能な堅牢で汎用性の高い二値化ツールの開発。
• 再構築や平滑化を施さずに、元のインクの詳細を保持することにより、元の筆者の書き取りに忠実な結果を確保すること。
• 正確な二値化を通じて、筆者特定や書体の変遷分析といった効果的な下流タスクを可能にすること。
• トランスファーラーニングおよび画像融合技術を活用し、リソースが限られた高複雑性の文書データセットにおける性能を向上させること。

提案手法

• エンコーダデコーダ型畳み込みニューラルネットワーク（U-Netベース）を用い、インクと背景ピクセルを分離する二値マスクを予測するように学習する。
• マルチスペクトルバンド（924nm赤外線を含む）からの画像融合を適用し、コントラストを向上させ、隠れたインクを明らかにする擬似カラー画像を生成する。
• 正確性を確保するため、ドメインエキスパートによる手動でのグランドトゥースラベル付けを実施。自動的な文字補填や平滑化を避けるために、慎重なラベル付けを実施。
• 微調整を最小限に抑えて、異なる文書コレクションにモデルを適応可能にするために、トランスファーラーニングを採用。
• 計算負荷を管理するため、小規模なパッチ（256×256）で学習を実施。境界アーチファクトを軽減するため、重複するパッチを用いる。
• ピクセル単位のセグメンテーション（インク対背景）を最適化するため、エンドツーエンドにバイナリクロスエントロピー損失を用いて学習。

実験結果

リサーチクエスチョン

• RQ1 深層エンコーダデコーダネットワークは、コントラストが低く、テクスチャが複雑な重度に劣化した歴史的文書の二値化を効果的に実行できるか？
• RQ2 マルチスペクトル画像融合は、デッド・シー・スクロールズのような劣化文書の二値化性能をどのように向上させるか？
• RQ3 トランスファーラーニングは、多様な文書コレクションにわたる一般化をどの程度可能にするか？
• RQ4 提案手法は、Otsu や Sauvola といった従来の二値化手法に比べ、元のインクの詳細をよりよく保持できるか？
• RQ5 ネットワークは、インクでない要素（例：枠、キャリブレータ）を背景としてセグメンテーションしつつ、微かで途切れた文字も保持できるか？

主な発見

• BiNetは、Otsu や Sauvola といった従来手法を、定性的および定量的両評価において上回り、特に低コントラストで破損が顕著なDSS画像において顕著な優位性を示した。
• 924nm赤外線を含むマルチスペクトルバンドからの画像融合を適用した結果、グランドトゥース自体よりも多くの元のコンテンツが抽出された二値化結果が得られた。
• H-DIBCOおよびDIBCOデータセットにおいても高い性能を達成し、DSSコレクションにとどまらず、広範な一般化能力を示した。
• BiNetは、写真のフレームや機械印刷のキャリブレータといった不要な要素を効果的に除去しながら、微かで途切れたインクストロークを保持した。
• 慎重なラベル付けアプローチにより、実際のインクの付着状態を忠実に反映したクリアで正確な出力が得られ、人工的な平滑化や再構築が行われなかった。
• トランスファーラーニングのおかげで、ラベル付きデータが限られる新しい文書コレクションに対しても、効果的な適応が可能になった。