[論文レビュー] ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction

Jiabang He, Lei Wang+5 more|arXiv (Cornell University)|Mar 9, 2023

Topic Modeling被引用数 7

ひとこと要約

ICL-D3IE は、多様で反復的に更新されるデモンストレーションを活用することで、大規模言語モデル（LLMs）が文書情報抽出（DIE）を実行できる、新しいイン・コンテキスト・ラーニングフレームワークである。硬い、レイアウトに配慮した、フォーマットに配慮したデモンストレーションを用いることで、微調整されたモデルを上回る性能を発揮し、SROIE、FUNSD、CORD において最先端の結果を達成している。分布内および分布外の設定において、LayoutLMv3 をも上回っている。

ABSTRACT

Large language models (LLMs), such as GPT-3 and ChatGPT, have demonstrated remarkable results in various natural language processing (NLP) tasks with in-context learning, which involves inference based on a few demonstration examples. Despite their successes in NLP tasks, no investigation has been conducted to assess the ability of LLMs to perform document information extraction (DIE) using in-context learning. Applying LLMs to DIE poses two challenges: the modality and task gap. To this end, we propose a simple but effective in-context learning framework called ICL-D3IE, which enables LLMs to perform DIE with different types of demonstration examples. Specifically, we extract the most difficult and distinct segments from hard training documents as hard demonstrations for benefiting all test instances. We design demonstrations describing relationships that enable LLMs to understand positional relationships. We introduce formatting demonstrations for easy answer extraction. Additionally, the framework improves diverse demonstrations by updating them iteratively. Our experiments on three widely used benchmark datasets demonstrate that the ICL-D3IE framework enables Davinci-003/ChatGPT to achieve superior performance when compared to previous pre-trained methods fine-tuned with full training in both the in-distribution (ID) setting and in the out-of-distribution (OOD) setting. Code is available at https://github.com/MAEHCM/ICL-D3IE.

研究の動機と目的

• 大規模言語モデル（LLMs）を文書情報抽出（DIE）に適用する際のモダリティおよびタスクギャップに対処すること。LLMs は視覚的およびレイアウト情報への直接アクセスを欠いている。
• 一般化、レイアウト理解、回答抽出可能性という主な課題に対処する多様なデモンストレーションタイプを設計することで、DIE におけるイン・コンテキスト・ラーニングのパフォーマンスを向上させること。
• 訓練データ上の予測からのフィードバックを用いて、ハードデモンストレーションを反復的に更新することで、テストインスタンス全体におけるモデルの一般化能力を向上させること。
• フレームワークの有効性を分布内および分布外の設定で評価し、標準的な微調整ベースラインを上回る堅牢性を示すこと。

提案手法

• LLMs が正しく予測しにくいとされる、訓練文書から最も困難で特徴的なセグメントを特定することで、ハードデモンストレーションを抽出する。
• LLMs にテキストコンテンツボックス間の位置関係を記述させるプロンプトを提示することで、レイアウトに配慮したデモンストレーションを構築し、空間的推論能力を強化する。
• 訓練データのランダムに選択されたセグメントを用いてフォーマットデモンストレーションを設計し、LLMs が構造的で機械可読な形式でラベルを予測できるように誘導する。
• LLM 自身の訓練データ上での予測結果を用いて、複数ラウンドにわたりハードデモンストレーションを改善する反復的デモンストレーション更新を実装する。
• LLMs の学習分布に適合しやすい用語に、曖昧または不自然なエンティティラベルをマッピングする。
• デモンストレーションタイプの特定の順序（ラベルマッピング、ハード、レイアウトに配慮した、フォーマット）を採用することで、イン・コンテキスト・ラーニングの効果を最大化する。

Figure 1 : Two approaches for solving the DIE task: (a) previous pre-trained document understanding models [ 15 , 42 ] fine-tuned with full training examples, and (b) in-context learning over LLMs with a few examples.

実験結果

リサーチクエスチョン

• RQ1 多様でタスク固有のデモンストレーションを用いたイン・コンテキスト・ラーニングは、文書情報抽出において微調整されたビジョン・ランゲージモデルを上回ることができるか？
• RQ2 レイアウトに配慮したデモンストレーションの導入は、LLMs のドキュメント構造理解能力およびエンティティ予測精度にどのように影響するか？
• RQ3 イン・コンテキスト・フィードバックを用いてハードデモンストレーションを反復的に更新することで、テストインスタンス全体におけるモデルの一般化能力にどのような影響を与えるか？
• RQ4 異なるデモンストレーションタイプの順序は、DIE タスクにおけるイン・コンテキスト・ラーニングのパフォーマンスにどのように影響するか？
• RQ5 ICL-D3IE フレームワークは、微調整されたモデルと比較して、分布外設定でも優れたパフォーマンスを維持できるか？

主な発見

• Davinci-003 を用いた ICL-D3IE は、SROIE で 97.88% の F1 スコアを達成し、分布内設定で LayoutLMv3 base（96.89%）を上回った。
• CORD では、ICL-D3IE（Davinci-003）が 95.12% の F1 スコアを達成し、LayoutLMv3 base（92.45%）を顕著に上回り、分布外設定でも優れた一般化性能を示した。
• 1 から 12 のデモンストレーション数の全範囲で、ICL-D3IE は微調整された LayoutLMv3 を常に上回り、特にショット数が少ない設定でより大きな差を示した。
• ハードデモンストレーションの反復的更新によりパフォーマンスが向上し、最適な結果は 20 ラウンド目で観察された。フィードバックに基づく精錬が一般化能力の向上に寄与することが示された。
• M-H-L-F 順序（ラベルマッピング、ハード、レイアウトに配慮した、フォーマット）は、全データセットで M-L-H-F 順序を上回った。デモンストレーション順序がイン・コンテキスト・ラーニングの成功に極めて重要であることが確認された。
• 事例研究により、ICL-D3IE は位置関係を正確に記述し、エンティティ（例：'question' と 'header'）を正しく予測した一方で、標準的な ICL では失敗した。レイアウトに配慮したデモンストレーションおよびハードデモンストレーションの価値が裏付けられた。

Figure 2 : A detailed illustration of ICL-D3IE framework, including obtaining nearest neighbor documents for test samples from the training dataset, constructing iteratively updated diverse demonstrations, and performing inference.