[論文レビュー] DocSegTr: An Instance-Level End-to-End Document Image Segmentation Transformer

Sanket Biswas, Ayan Banerjee+2 more|arXiv (Cornell University)|Jan 27, 2022

Handwritten Text Recognition Techniques被引用数 10

ひとこと要約

本稿では、極めて少ない手動アノテーションで、低リソースな手書き文書におけるレアまたは未知のアルファベットのインスタンスレベル認識を可能にする、少数ショットでエンドツーエンドのドキュメント画像セグメンテーションTransformer、DocSegTrを提案する。1文字種類あたり5枚の例示画像を用い、未ラベル化されたテキストラインに対して非教師付きの段階的疑似ラベル付けを適用することで、完全教師あり手法と同等の性能を達成しながら、手動ラベリング作業を著しく削減する。

ABSTRACT

Understanding documents with rich layouts is an essential step towards information extraction. Business intelligence processes often require the extraction of useful semantic content from documents at a large scale for subsequent decision-making tasks. In this context, instance-level segmentation of different document objects (title, sections, figures etc.) has emerged as an interesting problem for the document analysis and understanding community. To advance the research in this direction, we present a transformer-based model called \emph{DocSegTr} for end-to-end instance segmentation of complex layouts in document images. The method adapts a twin attention module, for semantic reasoning, which helps to become highly computationally efficient compared with the state-of-the-art. To the best of our knowledge, this is the first work on transformer-based document segmentation. Extensive experimentation on competitive benchmarks like PubLayNet, PRIMA, Historical Japanese (HJ) and TableBank demonstrate that our model achieved comparable or better segmentation performance than the existing state-of-the-art approaches with the average precision of 89.4, 40.3, 83.4 and 93.3. This simple and flexible framework could serve as a promising baseline for instance-level recognition tasks in document images.

研究の動機と目的

• ラベル付き学習データが極めて乏しいレアまたは未知のアルファベットを有する手書き文書の認識という課題に対処すること。
• 手動によるバウンディングボックスおよび文字ラベル付けを廃止し、自動化された疑似ラベル付けプロセスに置き換えることで、人為的アノテーションの負担を最小限に抑えること。
• 再訓練を必要とせず、多様な script に適用可能な汎用的でエンドツーエンドのモデルを開発すること。
• 段階的かつ非教師付きの疑似ラベル付けが、低リソースデータセットにおけるモデル性能の向上に寄与するかを評価すること。
• 少々ショット学習と自己教師付き疑似ラベル付けを組み合わせることで、最小限の手動データクリーニングで競争力のある結果が得られることを実証すること。

提案手法

• モデルは、推論時に1文字種類あたり5枚の例示画像のみをサポートとして使用する少々ショット学習フレームワークを採用する。
• トランスフォーマーに基づくアーキテクチャが、特徴空間におけるサポート特徴とクエリ特徴の類似度を計算することで、インスタンスレベルの検出を実現する。
• アテンション強化型のリージョンプロポーザルネットワーク（RPN）が、クエリ画像全体にわたってサポート特徴に注目することで、候補となるバウンディングボックスを生成する。
• 疑似ラベル付けは段階的に実行される：信頼度が高く、予測が信頼できるものから順次ラベル付きデータセットに追加され、信頼度フィルタリングの閾値は0.4として設定される。
• 未ラベルデータに対して非教師付きで、セグメンテーションを伴わない疑似ラベル付けを用いることで、テキストライン全体の手動アノテーションを回避する。
• 本モデルは、実際のラベル付きデータと自動的に生成された疑似ラベル付きデータの両方を用いて、エンドツーエンドでファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 1文字種類あたり5枚の例示画像でのみ学習可能な少々ショット学習アプローチが、手書きテキスト認識で高い性能を達成できるか？
• RQ2 非教師付き段階的疑似ラベル付けが、低リソースな文書認識における手動アノテーションの必要性を実際に効果的に低減できるか？
• RQ3 極めて低リソースな状況下で、提案手法の性能が完全教師ありおよび自己教師ありベースラインと比べてどうなるか？
• RQ4 信頼度が低い疑似ラベル付きデータをモデルに組み込むことは、依然としてモデルの性能向上に寄与するのか、それとも性能を劣化させるのか？
• RQ5 提案手法は、再訓練なしに異なる script や連記・重ね書きのテキストラインに対しても汎用的に適用可能か？

主な発見

• 本モデルは、1文字種類あたり5枚の例示画像と非教師付き疑似ラベル付けを用いて、Borgデータセットで文字誤り率（SER）0.24を達成し、完全教師あり学習の性能に近づいた。
• MAE や UP-DETR といったデータ集約型の自己教師ありモデルでさえ、50％のラベル付きデータでもSERが0.6を上回るのに対し、本手法はそれを上回る性能を示し、低リソースな状況に適していることを実証した。
• Borgデータセットにおけるアブレーションスタディから、信頼度閾値0.4での疑似ラベル付けが最適な性能をもたらすことが明らかになった。
• 初期段階の疑似ラベル付けではわずかな性能低下が見られたが、継続的な精錬により安定的かつ効果的な学習が達成されたことから、ノイズの多いラベルに対してもロバストであることが示された。
• 元のアルファベットとターゲットが異なる場合でも、本モデルは強力な性能を維持しており、異なる script 間での転移性を示している。
• 本手法により、クネイフォームや暗号化された文書の認識が、最小限の人的介入で可能となり、アノテーションに要する時間と労力が著しく削減された。