[論文レビュー] A Question-Answering framework for plots using Deep learning.

Revanth Reddy, Rahul Ramesh+2 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 14被引用数 3

ひとこと要約

本稿では、棒グラフおよび円グラフ上の質問応答のための新しい深層学習フレームワークを提案する。このフレームワークは、プロット要素の共同特定、値の定量化、値の順序関係の特定を実行する。FigureQAデータセットにおいて、Relation NetworksおよびCNN-LSTMベースラインを上回り、1GPUで約2日間の高速な学習を実現し、視覚的推論タスクにおける推論力と効率性の向上を示している。

ABSTRACT

Deep Learning has managed to push boundaries in a wide variety of tasks. One area of interest is to tackle problems in reasoning and understanding, in an aim to emulate human intelligence. In this work, we describe a deep learning model that addresses the reasoning task of question-answering on bar graphs and pie charts. We introduce a novel architecture that learns to identify various plot elements, quantify the represented values and determine a relative ordering of these statistical values. We test our model on the recently released FigureQA dataset, which provides images and accompanying questions, for bar graphs and pie charts, augmented with rich annotations. Our approach outperforms the state-of-the-art Relation Networks baseline and traditional CNN-LSTM models when evaluated on this dataset. Our model also has a considerably faster training time of approximately 2 days on 1 GPU compared to the Relation Networks baseline

研究の動機と目的

• 棒グラフや円グラフなどの視覚的プロットを推論するための深層学習モデルの開発。
• グラフィカルデータに関する定量的推論を含む視覚的質問応答タスクにおけるパフォーマンスの向上。
• Relation Networks や CNN-LSTM といった既存モデルがプロット構造や値の関係を理解する点で抱える制限の解決。
• 視覚的QAベンチマークにおける正確性を維持または向上させながら、学習時間を短縮すること。

提案手法

• 本モデルは、棒、スライス、ラベル、軸などのプロット要素を検出・局所化するための新しいアーキテクチャを採用する。
• エンド・トゥ・エンド学習を用いて視覚的特徴から数値の大きさを推定することで、表現された値を定量化する。
• 検出された要素を基に構造的推論を実行することで、統計的値の相対的順序を学習する。
• 視覚的特徴抽出と推論モジュールを統合し、要素検出と値推論を同時に最適化する。
• 豊富なアノテーションを備えた FigureQA データセットを用いて、教師あり学習によりアーキテクチャをエンド・トゥ・エンドで学習する。
• 1GPUで学習を実行し、約2日間の学習時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、棒グラフおよび円グラフのプロット要素を効果的に認識・推論できるか？
• RQ2 提案されたモデルは、Relation Networks や CNN-LSTM ベースラインと比較して、視覚的QAタスクでどの程度のパフォーマンスを示すか？
• RQ3 正確性を維持または向上させながら、学習効率をどの程度向上できるか？
• RQ4 モデルは視覚的プロットから正確に数値を推定し、それらの相対的順序を特定できるか？

主な発見

• 提案されたモデルは、FigureQAデータセットにおいてRelation Networksベースラインを上回る優れたパフォーマンスを達成した。
• 複雑な質問に答える視覚的プロットの推論において、従来のCNN-LSTMモデルを上回った。
• 1GPUで学習した場合、学習時間を約2日間まで短縮し、Relation Networksベースラインと比べて顕著に高速化された。
• 視覚的表現からのプロットコンポーネントの識別および数値の推論において、一般化性能が向上したことが示された。