[論文レビュー] MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning

Fuxiao Liu, Xiaoyang Wang+6 more|arXiv (Cornell University)|Nov 15, 2023

Speech and dialogue systems被引用数 4

ひとこと要約

本稿では、マルチモodalチャート理解を目的とした60万件のインスタンスを有する指令微調整データセットMMC-Instructionと、このデータで微調整された視覚言語モデルMMCAを紹介する。MMCAはチャートQAベンチマークで最先端の性能を達成した。また、9つの多様なタスクを含む人間がアノテートした包括的な評価スイートMMC-Benchmarkを提案し、GPT-4Vを含む既存のLMMsに顕著な制限が存在することが判明した。特に、チャートからテーブルやJSONへの変換といった複雑なタスクで顕著である。

ABSTRACT

With the rapid development of large language models (LLMs) and their integration into large multimodal models (LMMs), there has been impressive progress in zero-shot completion of user-oriented vision-language tasks. However, a gap remains in the domain of chart image understanding due to the distinct abstract components in charts. To address this, we introduce a large-scale MultiModal Chart Instruction ( extbf{MMC-Instruction}) dataset comprising 600k instances supporting diverse tasks and chart types. Leveraging this data, we develop MultiModal Chart Assistant ( extbf{MMCA}), an LMM that achieves state-of-the-art performance on existing chart QA benchmarks. Recognizing the need for a comprehensive evaluation of LMM chart understanding, we also propose a MultiModal Chart Benchmark ( extbf{MMC-Benchmark}), a comprehensive human-annotated benchmark with nine distinct tasks evaluating reasoning capabilities over charts. Extensive experiments on MMC-Benchmark reveal the limitations of existing LMMs on correctly interpreting charts, even for the most recent GPT-4V model. Our work provides an instruction-tuning methodology and benchmark to advance multimodal understanding of charts. Code and data are available at https://github.com/FuxiaoLiu/MMC.

研究の動機と目的

• トレンドライン、凡例、軸ラベルなどの複雑で抽象的なチャート要素を理解する能力に欠ける大規模マルチモーダルモデル（LMMs）のギャップを埋める。
• 既存のチャート理解データセットはしばしば小規模であり、テンプレート化されており、言語スタイルやチャートタイプに多様性に欠けるという問題を克服する。
• 単なるQAを越えた、認知的に整合した多様なタスクをカバーする包括的で人間がアノテートしたベンチマーク（MMC-Benchmark）を開発する。
• 多様でオープンエンドな指令データセットを用いた大規模な指令微調整により、LMMのチャート理解性能を向上させる。
• 現在のLMMsに根強く残る弱み、特にチャートからテーブルやJSONへのデータ抽出タスク（チャート→テーブル、チャート→JSON）における欠陥を特定・分析する。

提案手法

• GPT-4を用いて、9つの異なるチャート理解タスクにわたる多様で自由形式のオープンエンドな指令を生成し、60万件のインスタンスを有するMMC-Instructionを構築する。
• MMC-Benchmarkを、人間がアノテートした包括的な評価スイートとして設計し、チャート情報抽出、推論、トピック分類、データフォーマット変換（例：チャート→テーブル、チャート→JSON）を含む9つのサブタスクを含む。
• 視覚的・言語的整合性を向上させるために、更新されたビジョンプロジェクタを用いた統一された指令微調整手法を採用し、MMC-Instructionで微調整されたモジュラーで指令微調整済みのLMM、MMCAを開発する。
• 自由形式生成評価（ChatGPTを用いて）と複数選択式QAの2つの評価プロトコルを採用し、推論能力と事実の正確性を両方評価する。
• 視覚特徴を大規模言語モデルの入力空間に統合しやすくするために、微調整中にビジョンプロジェクタを更新する統一されたトレーニング戦略を採用する。
• 標準ベンチマーク（例：ChartQA）とMMC-Benchmarkの両方で、多様なチャートタイプとタスクをカバーする包括的なアブレーションおよび比較実験を実施する。

Figure 1: Diagram of our human-annotated MMC-Benchmark , consisting of 9 distinct tasks, various topics ( business, health, biology, engineering, etc ), free-form questions, open-ended answers, and unbounded plot types.

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様な指令微調整は、ゼロショットやフェイシュットの能力を超えて、LMMのマルチモーダルチャート理解性能を顕著に向上させ得るか？
• RQ2 GPT-4Vを含む既存のLMMsは、チャート→テーブルやチャート→JSON変換といった複雑でオープンエンドなチャート理解タスクでどの程度の性能を示すか？
• RQ3 提案されたMMC-Benchmarkは、従来の単純なベンチマークでは露呈されない、現在のLMMsの限界をどの程度明らかにするか？
• RQ4 現在のLMMsがチャート理解において示す主な失敗モードは何か。特に、指令の従順性と視覚的特徴の統合に関する点で。
• RQ5 MMC-Instructionのような大規模で多様なデータセットを用いた統一された指令微調整アプローチは、チャート推論タスクにおいて、オープンソースLMMとGPT-4Vのような特許権付きモデルとの間の性能ギャップを埋め得るか？

主な発見

• MMCAは、既存のチャートQAベンチマークで最先端の性能を達成し、MMC-Benchmarkの全9タスクにおいて、既存のオープンソースLMMを顕著に上回った。
• GPT-4Vですら、チャート→テーブルおよびチャート→JSONタスクで性能を発揮できず、データ抽出の正確性に深刻なギャップがあることが示された。
• MMC-Benchmarkにおける既存のLMMの総合スコアは、チャートQAのような従来のベンチマークよりも顕著に低く、質問と回答の多様性とオープンエンド性が要因である。
• MMC-Instructionデータセットは、MMC-Benchmarkの全9タスクにおいて、ベースラインLMMの性能を顕著に向上させ、指令微調整の有効性を実証した。
• 一般的な失敗モードには、指令の誤った従順性（例：割合に関する質問に「Yes」と答える）、弱いビジョンエンコーダ（例：CLIPベースのモデル）、OCRに類似した不正確なデータ抽出が含まれる。
• ビジョンエンコーダの制限と、チャート固有のデータで微調整されていないことが、特に正確なデータ値抽出を要するタスクで性能を著しく低下させる主な要因である。

Figure 2: The overall architecture of MMCA , which is continuously trained in two stages.