[論文レビュー] DePlot: One-shot visual language reasoning by plot-to-table translation

Fangyu Liu, Julian Martin Eisenschlos+8 more|arXiv (Cornell University)|Dec 20, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

DePlotは、エンドツーエンドの画像からテキストへのTransformerモデルを用いて、プロットを構造化されたテーブルに変換するワンショット視覚的言語推論フレームワークを導入する。大規模言語モデル（LLM）と組み合わせることで、SOTA性能を達成し、1ショットプロンプティングのみで、ChartQAにおける人間が作成したクエリにおいて、微調整を施したSOTAモデルより29.4%の向上を達成した。

ABSTRACT

Visual language such as charts and plots is ubiquitous in the human world. Comprehending plots and charts requires strong reasoning skills. Prior state-of-the-art (SOTA) models require at least tens of thousands of training examples and their reasoning capabilities are still much limited, especially on complex human-written queries. This paper presents the first one-shot solution to visual language reasoning. We decompose the challenge of visual language reasoning into two steps: (1) plot-to-text translation, and (2) reasoning over the translated text. The key in this method is a modality conversion module, named as DePlot, which translates the image of a plot or chart to a linearized table. The output of DePlot can then be directly used to prompt a pretrained large language model (LLM), exploiting the few-shot reasoning capabilities of LLMs. To obtain DePlot, we standardize the plot-to-table task by establishing unified task formats and metrics, and train DePlot end-to-end on this task. DePlot can then be used off-the-shelf together with LLMs in a plug-and-play fashion. Compared with a SOTA model finetuned on more than >28k data points, DePlot+LLM with just one-shot prompting achieves a 24.0% improvement over finetuned SOTA on human-written queries from the task of chart QA.

研究の動機と目的

• 既存の視覚的言語推論モデルが数千もの微調整例を必要とし、複雑な人間が作成したクエリでは性能を発揮しないという制限を解消すること。
• プロット理解をプロットからテーブルへの変換と、その後のLLMを用いた推論に分離することで、少数ショット視覚的言語推論を可能にすること。
• 行・列の順序の入れ替えに対して不変で、相対的な数値誤差に耐性を持つ、統一された評価指標を用いてプロットからテーブルへのタスクを標準化すること。
• タスク固有の設計を必要とせず、多様な図表タイプに一般化可能な、プラグアンドプレイなモダリティ変換モジュールDePlotを開発すること。
• テーブルベースのプロンプティングを用いてLLMを活用することで、顕著に少ない監視で、エンドツーエンドの微調整モデルを上回る性能を達成できることを示すこと。

提案手法

• DePlotは、合成およびウェブクロールされた図表-テーブルペアの混合コーパスを用いて、視覚的プロットを線形化されたテキストテーブルに変換するエンドツーエンドの画像からテキストへのTransformerモデルとして訓練される。
• モデルは、入力プロットに含まれるテキスト的および数値的内容を保持する構造的で、表形式のテキスト表現を生成するように訓練される。
• 相対誤差に対する耐性と、行・列の順序の入れ替えに対する不変性を組み込んだ、新しいテーブル類似度指標RMS_F1を提案し、プロットからテーブルへの翻訳を評価する。
• DePlotの出力は、Chain-of-Thoughts（CoT）やProgram-of-Thoughts（PoT）などの少々ショットプロンプティング手法を用いた事前学習済みLLMの入力として使用される。
• フレームワークは2段階で動作する：(1) DePlotによるプロットからテーブルへの翻訳、(2) 少数ショットプロンプティングを用いて生成されたテーブル上でLLMによる推論。
• 評価はChartQAおよびPlotQAで実施され、アブレーションと分布外分析により、耐性および失敗モードの評価がなされる。

実験結果

リサーチクエスチョン

• RQ1 一貫性がありエンドツーエンドのモデルによるプロットからテーブルへの翻訳は、複雑な図表タイプの間で、ハイブリッドなルールベースシステムを精度と一般化性能の面で上回ることができるか？
• RQ2 正確なテーブル翻訳を基盤に、LLMを用いたワンショットプロンプティング戦略が、数千もの微調整例を必要とする完全に監視されたSOTAモデルを、複雑な人間が作成したクエリにおいて上回ることができるか？
• RQ3 構造的および数値的変動を考慮し、公平に評価できる、強力で不変な指標をどのように設計できるか？
• RQ4 DePlotは、訓練時に見られなかったドメイン外の図表、特に異なるソースやツールから得られたものに対して、どの程度一般化できるか？
• RQ5 DePlotの主な失敗モードは何か。また、色や方向などの視覚的属性が翻訳精度にどのように影響を与えるか？

主な発見

• DePlotは、1ショットの監視のみを用いても、ChartQAベンチマークの「人間が作成したクエリ」において、以前のSOTAモデルよりも29.4%の絶対的向上を達成した。
• DePlot + LLMフレームワークは、数千もの微調整例を必要とした完全に監視されたSOTAモデルを上回り、正確なテーブル翻訳に支えられた少数ショットプロンプティングの強力さを示した。
• DePlotは、OCRベースのベースラインや他のエンドツーエンドモデルよりも、特に多様な図表タイプを一貫して処理する点で顕著に優れていた。
• TaTaデータセットからの分布外図表では、平均RMS_F1スコアが78%を記録し、中程度の一般化能力を示したが、外部ラベルや隣接するテキストの処理では苦戦した。
• 失敗事例の主な原因は、視覚的干渉要因（例：参照、脚注）や矢印で接続されたラベルであり、データ前処理およびトレーニングデータの耐性強化の必要性を示唆している。
• 研究では、色や方向などの視覚的属性をデコードターゲットに組み込むことで、さらなる性能向上が可能であると特定した。これは、今後の研究における有望な方向性を示している。