[論文レビュー] An Empirical Study on Leveraging Scene Graphs for Visual Question Answering

Cheng Zhang, Wei‐Lun Chao+1 more|arXiv (Cornell University)|Jul 28, 2019

Multimodal Machine Learning Applications参考文献 78被引用数 31

ひとこと要約

この論文は、画像内のオブジェクトとその関係性を構造化された表現として表すシーングラフを、グラフネットワーク（GN）を用いた視覚的質問応答（VQA）に活用する方法を調査している。GNはシーングラフ上で構造的推論を実行でき、より洗練されたアーキテクチャで最先端の精度を達成するとともに、推論中に関連するノードやエッジを強調する解釈可能な注目メカニズムを可能にする。

ABSTRACT

Visual question answering (Visual QA) has attracted significant attention these years. While a variety of algorithms have been proposed, most of them are built upon different combinations of image and language features as well as multi-modal attention and fusion. In this paper, we investigate an alternative approach inspired by conventional QA systems that operate on knowledge graphs. Specifically, we investigate the use of scene graphs derived from images for Visual QA: an image is abstractly represented by a graph with nodes corresponding to object entities and edges to object relationships. We adapt the recently proposed graph network (GN) to encode the scene graph and perform structured reasoning according to the input question. Our empirical studies demonstrate that scene graphs can already capture essential information of images and graph networks have the potential to outperform state-of-the-art Visual QA algorithms but with a much cleaner architecture. By analyzing the features generated by GNs we can further interpret the reasoning process, suggesting a promising direction towards explainable Visual QA.

研究の動機と目的

• 構造的シーングラフが、エンドツーエンドのニューラルネットワークを上回るVQA性能を実現できるかどうかを検討すること。
• VQAにおけるシーングラフ上の構造的推論を実行するためのグラフネットワーク（GN）の有効性を評価すること。
• シーングラフの品質およびノード・エッジ特徴量がVQA性能に与える影響を分析すること。
• グラフの構成要素に対する注目度を可視化することで、VQAにおける解釈可能な推論を可能にすること。
• VQAタスクにおいて、機械生成されたシーングラフ（例：Visual Genome、Neural Motifs）と人間アノテーション済みのものとの比較を行うこと。

提案手法

• 著者らは、画像をシーングラフとして表現し、ノードがオブジェクトを、エッジがそれらの間の関係性を表すものとする。
• 彼らは、シーングラフの符号化とノード・エッジ間でのメッセージパッシングに基づく推論を実行するため、グラフネットワーク（GN）を用いる。
• GNモデルは質問をLSTMエンコーダーで処理し、グラフ符号化特徴量と統合することで回答予測を行う。
• 画像特徴量（i）、質問（q）、候補回答（c）に加え、シーングラフ入力（S）を組み合わせたさまざまな入力条件を実験する。
• ノードおよびエッジの更新におけるℓ₂ノルムの変化を追跡することで、質問に関連するグラフのどの部分が重要であるかを可視化し、注目度を分析する。
• Visual Genome（VG）、Neural Motifs（NM）、およびグラフなし（NG）の複数のシーングラフソースを比較し、ノード名や属性の有無が性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 画像から抽出されたシーングラフは、標準的なディープラーニングモデルに比べ、VQA性能の向上に寄与するか？
• RQ2 自動生成されたシーングラフの品質が、VQAの精度にどのように影響するか？
• RQ3 グラフネットワークは、シーングラフ上で構造的推論を実行でき、VQAにおける解釈可能性を向上させられるか？
• RQ4 「何」、「何個」、「どこ」などの質問タイプの中で、シーングラフ推論が最も効果を発揮するのはどれか？
• RQ5 ノード属性や関係性を組み込むことで、特定の質問タイプにおける推論性能が向上するか？

主な発見

• ノード名と属性を含むVisual Genomeグラフ（VG(N, A)）を用いたモデルは、VQAベンチマークで全体で62.6%の精度を達成し、グラフなしのベースライン（43.3%）を上回った。
• 「何」、「誰」、「数」に関する質問では、ノード名を含むシーングラフが、グラフなしベースラインに比べ10～20パーセンテージポイントの精度向上を示した。
• 「色」に関する質問タイプでは、ノード属性の組み込みにより相対的に最も大きな向上が見られ、精度が10%以上向上した。
• ノード名と属性を含むVGグラフを用いたモデル（VG(N, A)）は、「なぜ」に関する質問で85.3%の精度を記録し、全設定の中で最高を記録した。
• 定性的な分析から、GNベースのモデルは、暗黙的だが関連するノードやエッジ（例：「キティ」、「持っている」、「レース中」）に注目していることが明らかになった。これにより、解釈可能な推論経路が得られた。
• Neural Motifsグラフを用いた失敗事例は、ノード属性の欠如に起因しており、豊富なグラフ特徴量の重要性が浮き彫りになった。