[論文レビュー] A Diagram Is Worth A Dozen Images

Aniruddha Kembhavi, Mike Salvato+4 more|arXiv (Cornell University)|Mar 24, 2016

Data Visualization and Analytics参考文献 36被引用数 13

ひとこと要約

本論文は、図解理解のための新規フレームワークを提示し、図解構造を表現するための図解パースグラフ（DPG）を提案するとともに、文法的解析を行うための逐次LSTMベースのモデル（Dsdp-Net）を導入する。さらに、DPGに特化したアテンションモデルDqa-Netを提案し、新たにリリースされたAI2Dデータセット（5,000枚の図解と15,000の質問を含む）で最先端の性能を達成した。

ABSTRACT

Diagrams are common tools for representing complex concepts, relationships and events, often when it would be difficult to portray the same information with natural images. Understanding natural images has been extensively studied in computer vision, while diagram understanding has received little attention. In this paper, we study the problem of diagram interpretation and reasoning, the challenging task of identifying the structure of a diagram and the semantics of its constituents and their relationships. We introduce Diagram Parse Graphs (DPG) as our representation to model the structure of diagrams. We define syntactic parsing of diagrams as learning to infer DPGs for diagrams and study semantic interpretation and reasoning of diagrams in the context of diagram question answering. We devise an LSTM-based method for syntactic parsing of diagrams and introduce a DPG-based attention model for diagram question answering. We compile a new dataset of diagrams with exhaustive annotations of constituents and relationships for over 5,000 diagrams and 15,000 questions and answers. Our results show the significance of our models for syntactic parsing and question answering in diagrams using DPGs.

研究の動機と目的

• コンピュータビジョン分野における図解理解という未だ十分に検討されていない問題に取り組むこと、特に自然画像をはるかに超える複雑な関係性を伝える科学図解の理解を対象とする。
• 図解解釈を2つのタスクとして形式化すること：文法的解析（構成要素と関係の特定）と意味的解釈（現実世界の概念へのマッピング）。
• 図解内の構造的および関係的情報を符号化するための新しい表現、図解パースグラフ（DPG）を開発すること。
• 5,000枚の図解、15,000の質問、および訓練・評価用の真値DPGを備えた大規模かつ豊富にアノテーションが施されたデータセットAI2Dを構築すること。
• DPGを活用して図解上の推論を向上させるモデル—図解パース用のDsdp-Netと図解QA用のDqa-Netの設計と評価を行うこと。

提案手法

• 図解の構成要素とその関係性をノードとエッジを用いてモデル化するため、構造的表現として図解パースグラフ（DPG）を提案する。
• 逐次的で自己回帰的な方法でノードとエッジを予測・追加することで、DPGを段階的に構築する、順序付きLSTMベースのモデルDsdp-Netを開発する。
• 強化学習に類似したアプローチを採用し、報酬モデルによってDsdp-Netの方策をガイドする。ランダムフォレストモデルを用いて候補追加の順位付けを行い、最適化のためのゴールまでの距離関数を組み合わせる。
• Dqa-Netを導入し、ソフトアテンション機構を用いて関連するDPGコンponentsに注目するニューラルネットワークを設計する。質問埋め込み（LSTMを介して）とDPG表現を組み合わせて図解QAを実現する。
• 事前学習済みGloVe埋め込みとVGG-19特徴量を画像およびテキスト符号化に使用し、交差エントロピー損失と確率的勾配降下法を用いてDqa-Netを訓練する。
• パース用にはグラフのジャカード係数（JIG）を、QA用には標準的な正答率を用いてモデルを評価し、徹底的なアブレーションとベースライン比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 DPGのような構造的でグラフベースの表現は、科学図解の文法的および意味的構造を効果的にモデル化できるか？
• RQ2 逐次的かつ自己回帰的なディープラーニングモデル（Dsdp-Net）は、グリーディーサーチやA*ベースのベースラインを上回るパフォーマンスを図解のDPGへのパースで示せるか？
• RQ3 DPGを介して図解固有の関係的構造を組み込むことで、標準的な視覚的質問応答手法と比較して、図解QAのパフォーマンスが向上するか？
• RQ4 水循環図や食物連鎖図など、クラス内に高い変動を示す多様な図解タイプにおいて、Dsdp-NetおよびDqa-Netのパフォーマンスはどのように変化するか？
• RQ5 DPG表現は、生態的または物理的システムにおける間接的効果の推論といった、高次の推論能力をどれほど捉えられるか？

主な発見

• Dsdp-Netは、テストセットで最高のグラフのジャカード係数（JIG）スコアを達成し、グリーディーサーチおよびA*ベースのベースラインを大きく上回る文法的解析性能を示した。
• Dsdp-Netは、順序付きモデリングと文脈に配慮したLSTM予測を活用することで、構造的かつ段階的なパースアプローチの利点を実証した。
• AI2DデータセットとVQAデータセットの両方で学習したDqa-Netは、強力なベースライン（LSTM Q+I）を上回る正答率を達成し、DPGに特化したアテンションの有効性を示した。
• 定性的な結果から、Dqa-Netが図解パースグラフ（DPG）における関連するノードやエッジ（例：食物連鎖における「食べる」という関係や流れを示す矢印）を正しく注目していることが確認された。これは適切な意味的基盤の確立を示している。
• アブレーションスタディの結果、DPG表現は推論において不可欠であることが確認された。画像からDPGを直接回帰するアプローチでは、意味のある結果が得られなかった。
• 5,000枚の図解、15,000の質問、および完全なDPGアノテーションを備えたAI2Dデータセットのリリースにより、今後の図解理解分野における強力なベンチマークが提供された。