[論文レビュー] Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering

Wenjin Wang, Yunhao Li+2 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、OCR出力から得られるレイアウト情報をスペースと改行文字を使って符号化することで、レイアウト情報をエンコードするゼロショットドキュメント画像質問応答手法であるLATIN-Promptを提案する。これにより、微調整を必要としない指令チューニング済みモデル（Claude や ChatGPT など）がドキュメントのレイアウトを理解できるようになる。この手法は、微調整済みSOTAモデルと同等のゼロショット性能を達成し、ClaudeではDocVQAで263%の向上、AlpacaではLATIN-Tuningを用いて87.7%の向上を達成した。

ABSTRACT

Layout-aware pre-trained models has achieved significant progress on document image question answering. They introduce extra learnable modules into existing language models to capture layout information within document images from text bounding box coordinates obtained by OCR tools. However, extra modules necessitate pre-training on extensive document images. This prevents these methods from directly utilizing off-the-shelf instruction-tuning language foundation models, which have recently shown promising potential in zero-shot learning. Instead, in this paper, we find that instruction-tuning language models like Claude and ChatGPT can understand layout by spaces and line breaks. Based on this observation, we propose the LAyout and Task aware Instruction Prompt (LATIN-Prompt), which consists of layout-aware document content and task-aware instruction. Specifically, the former uses appropriate spaces and line breaks to recover the layout information among text segments obtained by OCR tools, and the latter ensures that generated answers adhere to formatting requirements. Moreover, we propose the LAyout and Task aware Instruction Tuning (LATIN-Tuning) to improve the performance of small instruction-tuning models like Alpaca. Experimental results show that LATIN-Prompt enables zero-shot performance of Claude and ChatGPT to be comparable to the fine-tuning performance of SOTAs on document image question answering, and LATIN-Tuning enhances the zero-shot performance of Alpaca significantly. For example, LATIN-Prompt improves the performance of Claude and ChatGPT on DocVQA by 263% and 20% respectively. LATIN-Tuning improves the performance of Alpaca on DocVQA by 87.7%. Quantitative and qualitative analyses demonstrate the effectiveness of LATIN-Prompt and LATIN-Tuning. We provide the code in supplementary and will release it to facilitate future research.

研究の動機と目的

• 微調整を必要とせず、市販の指令チューニング済み言語モデルを用いてゼロショットドキュメント画像質問応答を可能にすること。
• 従来のレイアウトに配慮したモデルがドキュメント画像の大量事前学習を必要としているという制限を克服すること。
• 指令チューニング済みモデルが座標ベースの埋め込みではなく、空白（スペースと改行）を介してレイアウトを理解できるかどうかを検証すること。
• Alpacaのような小規模な指令チューニング済みモデルのレイアウト理解能力を、特定の指令チューニングによって向上させること。
• 高価な事前学習を回避し、閉鎖型および大規模オープンソースLLMと互換性を持つ手法を開発すること。

提案手法

• LATIN-Promptは、OCRで抽出されたテキストセグメントの間に適切なスペースと改行を挿入することで、レイアウトに配慮したドキュメントコンテンツを構築する。
• タスクに配慮した指示プロンプトを統合し、出力形式（例：スパンやリスト）をモデルが適切に生成できるように誘導する。
• Claude や ChatGPT といった指令チューニング済みモデルが、空白の解釈によってレイアウトを理解する能力を内蔵していることを利用し、座標ベースのモジュールを必要としない。
• Alpaca などの小規模な指令チューニング済みモデルの性能を向上させるために、LATIN-Tuningを導入。CSVテーブルをスペースおよび改行で符号化された文字列に変換することで、合成された指令チューニングデータを生成する。
• 本手法は視覚的入力の使用とは直交的であり、著者らはDocVQA、InfographicVQA、MP-DocVQAで検証を行った。
• アブレーションスタディおよび事例分析を通じて、レイアウト要因とタスク要因の寄与度を示した。

実験結果

リサーチクエスチョン

• RQ1 Claude や ChatGPT といった指令チューニング済み言語モデルは、スペースと改行のみでドキュメントのレイアウトを理解できるか？
• RQ2 空白による符号化を用いたプロンプトベースの手法は、ドキュメント画像質問応答において、微調整済みSOTAモデルと同等のゼロショット性能を達成できるか？
• RQ3 LATIN-Tuningは、Alpaca のような小規模な指令チューニング済みモデルのレイアウト理解能力をどの程度向上できるか？
• RQ4 LATIN-Prompt全体の性能において、レイアウトに配慮したコンテンツとタスクに配慮した指示の相対的寄与度はどの程度か？
• RQ5 使用しているLLMのサイズと能力は、この設定におけるゼロショット性能と相関しているか？

主な発見

• LATIN-Promptにより、ClaudeのDocVQAにおけるゼロショット性能は、通常のプロンプトと比較して263%向上し、微調整済みSOTAモデルと同等の性能に達した。
• ChatGPTのDocVQAにおけるゼロショット性能も、LATIN-Promptにより20%向上し、微調整済みSOTAモデルと同等の水準に達した。
• LATIN-Tuningにより、AlpacaのDocVQAにおけるゼロショット性能は87.7%向上し、レイアウト理解能力が顕著に向上した。
• アブレーションスタディの結果、レイアウトに配慮したコンテンツとタスクに配慮した指示の両方が不可欠であることが確認され、特にClaudeの性能向上においてはタスク指示の寄与度がより大きかった。
• MP-DocVQAでは、微調整済みベースライン（Longformer や Big Bird）を上回り、InfographicVQAではTILTを除く大多数の微調整済みモデルを上回った。
• LATIN-Tuningの性能は、より多くの指令チューニングデータを用いるほど向上するが、2000サンプルを超えると増益が鈍化する傾向を示した。