[論文レビュー] Answering Questions about Data Visualizations using Efficient Bimodal Fusion

Kushal Kafle, Robik Shrestha+3 more|arXiv (Cornell University)|Aug 5, 2019

Multimodal Machine Learning Applications参考文献 44被引用数 4

ひとこと要約

この論文は、画像と言語特徴を並列再帰的統合によって統合する新しい二モーダル融合モデルPReFILを提案する。このモデルは、図表の質問応答（CQA）において最先端の性能を達成する。PReFILはDVQAおよびFigureQAデータセットの両方で、従来の手法および人間のベースラインを上回り、強力な一般化能力を示し、反復的質問応答による表の再構築を可能にする。

ABSTRACT

Chart question answering (CQA) is a newly proposed visual question answering (VQA) task where an algorithm must answer questions about data visualizations, e.g. bar charts, pie charts, and line graphs. CQA requires capabilities that natural-image VQA algorithms lack: fine-grained measurements, optical character recognition, and handling out-of-vocabulary words in both questions and answers. Without modifications, state-of-the-art VQA algorithms perform poorly on this task. Here, we propose a novel CQA algorithm called parallel recurrent fusion of image and language (PReFIL). PReFIL first learns bimodal embeddings by fusing question and image features and then intelligently aggregates these learned embeddings to answer the given question. Despite its simplicity, PReFIL greatly surpasses state-of-the art systems and human baselines on both the FigureQA and DVQA datasets. Additionally, we demonstrate that PReFIL can be used to reconstruct tables by asking a series of questions about a chart.

研究の動機と目的

• 既存のVQAモデルが、微細な測定、OCR処理、未知語の取り扱いを必要とするデータ可視化の理解に限界を示す問題を解決すること。
• 多様な図表タイプと質問フォーマットに一般化可能な頑健なCQAシステムの開発。
• DVQAやFigureQAなどのベンチマークCQAデータセットでSOTA性能を上回ること。
• CQAモデルを用いた下流タスク、たとえば図表からの自動表の再構築の可能性の調査。
• 現在のCQAデータセットのギャップを特定し、より現実的で挑戦的なCQAベンチマークのためのロードマップを提案すること。

提案手法

• PReFILは、低次元および高次元表現の両方で、画像と言語特徴を並列再帰的に統合し、共同二モーダル埋め込みを学習する。
• 画像特徴（CNNを用いて）と質問特徴（RNNを用いて）を別々のストリームで符号化し、その後、連結とゲート付き再帰ユニットによる早期統合を実行する。
• 明示的なアテンションや関係性モジュールを用いずに、統合された特徴の階層的集約を活用することで、マルチステップ推論を実現する。
• 統合の前段階で、事前学習済みの視覚的および言語的エンコーダーを用いて、豊富で判別力の高い特徴を抽出する。
• 表の再構築のため、PReFILは事前に定義された質問テンプレートを用いた反復的QAを適用し、棒グラフの数、ラベル、値を抽出する。
• システムはCQAデータセット上でエンドツーエンドに学習され、標準的な指標（正確度とF1スコア）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 単純なが効果的な二モーダル統合機構は、複雑なアテンションベースのモデルを上回ることができるか？
• RQ2 CQAモデルは、構造化された図表理解タスクにおいて、どの程度人間の性能を上回ることができるか？
• RQ3 CQAモデルを用いた反復的質問応答により、視覚化から高精度なデータ表を再構築できるか？
• RQ4 OCRの品質と未知語の影響はCQA性能にどのように影響し、モデルはこうした課題に耐性を持つことができるか？
• RQ5 現在のCQAデータセットの主な限界は何か。今後のベンチマークは、現実世界の図表理解をよりよく反映するにはどうすればよいか？

主な発見

• PReFILはDVQAデータセットで91.14%の正確度、FigureQAで90.88%を達成し、従来のSOTA手法を顕著に上回った。
• FigureQAでは、PReFILが人間のベースライン（88.5%）を上回り、90.88%の正確度を達成した。
• DVQAでは、オラクルOCRを用いたPReFILが、すべての質問タイプで人間の性能を上回り、新規のテスト図表で91.10%の正確度を達成した。
• アルゴリズム1を用いた表の再構築は、なじみのある図表で90.79%の全体正確度、新規の図表で91.10%を達成し、形状予測はほぼ完璧（99.97%）だった。
• モデルは、未知語の存在や複雑な推論に対しても頑健であることが示され、特に高品質なOCRと組み合わせると顕著に効果を発揮した。
• 研究では、OCRの品質が深刻なボトルネックであることが判明した。低品質なOCRモデルを用いるとかなり性能が低下した。