[論文レビュー] ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning

Ahmed Masry, Do Xuan Long+3 more|arXiv (Cornell University)|Mar 19, 2022

Data Visualization and Analytics被引用数 13

ひとこと要約

本稿では、現実世界の図表における視覚的・論理的推論を対象とした大規模なベンチマーク「ChartQA」を紹介する。このベンチマークには、人間が作成した9,608問と機械が生成した23,111問の質問が含まれており、視覚的・論理的推論に特化している。本稿では、図表から自動抽出されたデータテーブルと視覚的特徴を統合する統一されたトランスフォーマー基盤モデルを提案し、最先端のパフォーマンスを達成したが、複雑な推論や視覚的参照の処理における未解決の課題が浮き彫りになった。

ABSTRACT

Charts are very popular for analyzing data. When exploring charts, people often ask a variety of complex reasoning questions that involve several logical and arithmetic operations. They also commonly refer to visual features of a chart in their questions. However, most existing datasets do not focus on such complex reasoning questions as their questions are template-based and answers come from a fixed-vocabulary. In this work, we present a large-scale benchmark covering 9.6K human-written questions as well as 23.1K questions generated from human-written chart summaries. To address the unique challenges in our benchmark involving visual and logical reasoning over charts, we present two transformer-based models that combine visual features and the data table of the chart in a unified way to answer questions. While our models achieve the state-of-the-art results on the previous datasets as well as on our benchmark, the evaluation also reveals several challenges in answering complex reasoning questions.

研究の動機と目的

• 既存の ChartQA データセットがテンプレートベースの質問、固定語彙の回答、および合成図表に依存しているという限界を是正すること。
• 複雑な推論と図表要素への視覚的参照を含む、人間が作成した質問を含む現実的なベンチマークを構築すること。
• 視覚的特徴と抽出されたデータテーブルを統合する統一モデルを開発し、図表上の推論を向上させること。
• 特にネストされた演算や視覚的構成的質問に対する視覚的・論理的推論における課題を評価すること。

提案手法

• 20,882枚の現実世界の図表を4つの公開リポジトリから収集し、視覚的およびトピック的な多様性を確保した。
• 人間が作成した質問（9,608問）は、倫理的配慮を踏まえたクラウドソーシングで収集された一方、追加の23,111問の質問は、人間が作成した要約から微調整されたT5モデルを用いて生成された。
• データ抽出パイプラインは、図表画像から基礎となるデータテーブルを抽出するために、ChartOCRの改変版を用いた。
• 神経ネットワークモデルを用いて視覚的特徴を抽出し、それをデータテーブルと統合して、トランスフォーマー基盤のQAモデルへの入力としての統一表現を構築した。
• 視覚的特徴と表形式データを共同で処理できる2つのトランスフォーマー基盤モデル（VisionTaPas と VL-T5）を適応し、質問応答に用いた。
• 既存のデータセットと新しい ChartQA ベンチマークの両方で、モデルを訓練および評価することで、複雑な推論タスクにおける汎化性能とパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 既存のモデルは、現実世界の図表における視覚的・論理的演算を伴う複雑な人間が作成した推論質問に対して、どの程度一般化できるか？
• RQ2 視覚的特徴と抽出されたデータテーブルを統合する統一モデルは、単に表形式データまたは視覚的特徴に依存するモデルを上回る性能を示せるか？
• RQ3 ネストされた算術演算や図表要素への視覚的参照に関する推論における主な失敗モードは何か？
• RQ4 データ抽出の品質が、視覚的推論タスク全体のモデルパフォーマンスにどの程度影響を与えるか？
• RQ5 現在のモデルは、色や線種、ピーク値などの視覚的属性を含むオープン語彙・自然言語の質問に対して、どの程度困難を抱えているか？

主な発見

• 視覚的特徴と抽出されたデータテーブルを統合する本稿で提案する統一モデルは、既存のデータセットおよび新しい ChartQA ベンチマークの両方で最先端のパフォーマンスを達成した。
• 色や線種といった視覚的属性で図表要素を参照する視覚的推論質問では、パフォーマンスが著しく低下しており、視覚的グランドイング（視覚的対応付け）における主要な課題が浮き彫りになった。
• 複数の算術的ステップを連続して実行するようなネストされた論理的演算については、モデルが困難を抱えており、推論の構成能力に限界があることが示された。
• 真値のデータテーブルが提供されない場合、モデルのパフォーマンスが低下するため、図表からの正確なデータ抽出の重要性が強調された。
• VisionTapas と VL-T5 は棒グラフでは優れたパフォーマンスを示したが、ピアスチャートではデータ抽出エラーが高いため性能が低下し、より洗練された視覚的データ抽出パイプラインの必要性が明らかになった。