[論文レビュー] PageNet: Page Boundary Extraction in Historical Handwritten Documents

Chris Tensmeyer, Brian Davis+3 more|arXiv (Cornell University)|Sep 5, 2017

Handwritten Text Recognition Techniques参考文献 23被引用数 4

ひとこと要約

PageNet は、歴史的手書き文書のメインページ領域をピクセル単位でセグメンテーションするための深層学習システムであり、完全畳み込みネットワーク（FCN）を用い、その後処理により四角形境界を抽出する。複数のデータセットで94％を超える平均交差率（mIoU）を達成し、人間レベルの性能に近づき、重ねられた文書を含む複雑な境界ノイズに対しても対応可能である。

ABSTRACT

When digitizing a document into an image, it is common to include a surrounding border region to visually indicate that the entire document is present in the image. However, this border should be removed prior to automated processing. In this work, we present a deep learning based system, PageNet, which identifies the main page region in an image in order to segment content from both textual and non-textual border noise. In PageNet, a Fully Convolutional Network obtains a pixel-wise segmentation which is post-processed into the output quadrilateral region. We evaluate PageNet on 4 collections of historical handwritten documents and obtain over 94% mean intersection over union on all datasets and approach human performance on 2 of these collections. Additionally, we show that PageNet can segment documents that are overlayed on top of other documents.

研究の動機と目的

• デジタイズド歴史的手書き文書における境界ノイズの課題に対処すること。これは、後続のドキュメント解析タスクに影響を与える。
• レイアウト、文字サイズ、境界の一貫性に関する仮定に依存しない、堅牢でエンドツーエンドのシステムを開発すること。
• 多様な歴史的ドキュメントコレクションに一般化可能な高精度なページ境界検出を達成すること。
• 重ねられた文書や非一様な境界ノイズのような挑戦的ケースにおける有効性を示すこと。

提案手法

• 完全畳み込みネットワーク（FCN）を訓練し、メインページ領域を示すピクセル単位のセグメンテーションマスクを予測する。
• FCNの出力を後処理して、メインページコンテンツをきつうくくる四角形境界を抽出する。
• 複数の歴史的ドキュメントコレクションからの手動アノテーション済み四角形領域を用いてシステムを訓練する。
• 固定された境界位置、一貫した文字サイズ、直線的なページエッジを仮定しないため、多様なノイズタイプに対して耐性を持つ。
• モデルは、トレーニング中に見られなかったデータセットに対しても良好に一般化する。
• 重ねられた文書のうち、上位のドキュメントのみを特定・セグメンテーションできる。

実験結果

リサーチクエスチョン

• RQ1 レイアウトやノイズ構造に関する強い仮定に依存せずに、深層学習ベースのシステムが、歴史的手書き文書において高精度なページ境界検出を達成できるか。
• RQ2 提案手法の性能は、人間のアノテーションと、GrabCut などの従来のセグメンテーション手法と比べてどうか。
• RQ3 トレーニングデータとは異なるドキュメントコレクションに対しても、システムは一般化可能か。
• RQ4 重ねられた文書や部分的に見える隣接ページのような複雑な境界ノイズに対して、システムはどの程度効果的か。

主な発見

• PageNet は主なテストセットで 97.4％ の平均交差率（mIoU）を達成し、人間の一致度（98.3％ mIoU）に近づいた。
• 評価された5つのデータセットすべてで、PageNet は 94％ を超える mIoU を達成し、多様な歴史的ドキュメントコレクションにわたる強力な一般化性を示した。
• GrabCut や平均四角形推定といったベースライン手法よりも優れており、本の端やテキストアーチファクトのような複雑なノイズタイプに対しても顕著な優位性を示した。
• 重ねられた状況では、PageNet は上位のドキュメントのみを正しくセグメンテーションし、下層のドキュメントをメインページ領域から除外した。
• 同じタスクにおける人間の一致度は高く（98.3％ mIoU）、同じアノテーターによる再アノテーションでも 99.0％ mIoU を達成しており、コーナーのラベル付けに固有の曖昧さがあることが示された。
• システムは良好に一般化しており、CBAD データセットの異なる分割においても、性能低下が最小限に抑えられており、顕著な過学習は見られなかった。