[論文レビュー] StrucTexT: Structured Text Understanding with Multi-Modal Transformers

Yulin Li, Yuxi Qian+8 more|arXiv (Cornell University)|Aug 6, 2021

Multimodal Machine Learning Applications参考文献 51被引用数 6

ひとこと要約

StrucTexTは、視覚的に豊富なドキュメントにおける構造的テキスト理解のための統合的マルチモーダルトランスフォーマーフレームワークを提案する。視覚的、テキスト的、レイアウト的特徴を、セグメント-トークン同期エンコーダーと、3つの自己教師付きタスクを組み合わせた新規事前学習戦略によって統合する。このアプローチにより、トークンレベルとセグメントレベルの複数スケール表現を効果的に統合し、FUNSD、SROIE、EPHOIEの3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Structured text understanding on Visually Rich Documents (VRDs) is a crucial part of Document Intelligence. Due to the complexity of content and layout in VRDs, structured text understanding has been a challenging task. Most existing studies decoupled this problem into two sub-tasks: entity labeling and entity linking, which require an entire understanding of the context of documents at both token and segment levels. However, little work has been concerned with the solutions that efficiently extract the structured data from different levels. This paper proposes a unified framework named StrucTexT, which is flexible and effective for handling both sub-tasks. Specifically, based on the transformer, we introduce a segment-token aligned encoder to deal with the entity labeling and entity linking tasks at different levels of granularity. Moreover, we design a novel pre-training strategy with three self-supervised tasks to learn a richer representation. StrucTexT uses the existing Masked Visual Language Modeling task and the new Sentence Length Prediction and Paired Boxes Direction tasks to incorporate the multi-modal information across text, image, and layout. We evaluate our method for structured text understanding at segment-level and token-level and show it outperforms the state-of-the-art counterparts with significantly superior performance on the FUNSD, SROIE, and EPHOIE datasets.

研究の動機と目的

• 複雑なレイアウト、テキスト、視覚的要素を統合した視覚的に豊富なドキュメント（VRD）における構造的テキスト理解の課題に対処すること。
• 従来の手法がエンティティラベリングとリンクを別々のタスクとして処理するための制限を克服し、主にトークンレベルまたはセグメントレベルの分析に限定される傾向があること。
• 豊かなマルチモーダル表現を用いて、トークンレベルとセグメントレベルの両方のエンティティ抽出を統合的にモデル化できるフレームワークの開発。
• 視覚的、テキスト的、レイアウト的モダリティを統合した新規事前学習戦略を用いて、より良いクロスマodalなアライメントを実現する表現学習の向上。
• 文字、単語、行、領域といった複数スケールの特徴を効果的に統合し、エンティティラベリングとエンティティリンクの両方のパフォーマンス向上。

提案手法

• 共有のマルチヘッドアテンションメカニズムを用いて、トークンレベルとセグメントレベルの両方でエンティティラベリングを統合的にモデル化するセグメント-トークン同期エンコーダーを提案。
• マルチモーダル表現学習を強化するための3つの自己教師付き事前学習タスク（マスク視覚的言語モデリング（MVLM）、文長予測（SLP）、ペアドボックス方向（PBD））を導入。
• OCRで抽出されたテキスト、バウンディングボックス座標、およびビジョンエンコーダーからの視覚的特徴を活用し、統合的マルチモーダル入力表現を構築。
• エンティティラベリング（IOBタギング）とエンティティリンク（関係予測）の両タスクを一括して学習可能な統合損失関数を用いて、エンドツーエンドでモデルを訓練。
• 文字レベルのトークンと行レベルのセグメントの両方で監視を施し、両レベル間を横断するアテンションメカニズムを導入することで、複数スケールの監視を実現。
• 視覚的特徴（画像パッチ）、テキスト埋め込み（BERTベース）、レイアウト埋め込み（相対的なバウンディングボックス座標）を共通のトランスフォーマー空間にアライメントするマルチモーダル統合メカニズムを活用。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、視覚的に豊富なドキュメントにおけるトークンレベルとセグメントレベルの両方の構造的テキスト理解を効果的に処理できるか？
• RQ2 視覚的、テキスト的、レイアウト的モダリティの異なる組み合わせが、ドキュメント理解タスクのパフォーマンスにどのように影響するか？
• RQ3 特に文長予測（SLP）とペアドボックス方向（PBD）といった新規自己教師付き事前学習タスクは、マルチモーダル表現学習をどの程度向上させるか？
• RQ4 複数スケール特徴統合（トークン対セグメント）は、単一スケールアプローチと比較して、エンティティラベリングおよびリンクのパフォーマンスを向上させるか？
• RQ5 構造的テキスト理解における主な失敗モードは何か？また、キーバリュー関係やレイアウトコンテキストのより良いモデリングによって、それらはどのように緩和可能か？

主な発見

• StrucTexTは、MVLM+PBD+SLP事前学習を用いることで、FUNSDでF1スコア83.09を達成し、先行手法を上回る最先端の性能を示した。
• SROIEでは、全事前学習設定を用いることでF1スコア96.88を達成し、エンティティラベリングとリンクの両面で優れた性能を示した。
• アブレーションスタディの結果、3つの事前学習タスク（MVLM、SLP、PBD）を併用すると最良のパフォーマンスが得られ、MVLMオンリーモードに比べてFUNSDで3%、SROIEで0.2%の向上を示した。
• 視覚的特徴と言語的特徴は補完的である：両方を組み合わせることで、FUNSDでは5%以上、SROIEでは5.5%以上のF1スコア向上が達成された。
• セグメントレベルの表現学習はトークンレベルの学習を上回り、FUNSDではセグメントレベルでF1=83.09、トークンレベルで81.59を記録した。これは行レベルのコンテキストの価値を示している。
• 誤差解析の結果、数値的に類似したエンティティ（例：学生番号）の区別が困難であり、曖昧な意味的関係があることが判明。キーバリューペアのモデリングの改善に余地があると示唆された。