[論文レビュー] Scene Graph Reasoning for Visual Question Answering

Marcel Hildebrandt, Hang Li+3 more|arXiv (Cornell University)|Jul 2, 2020

Multimodal Machine Learning Applications参考文献 23被引用数 11

ひとこと要約

本論文は、画像内のオブジェクト、属性、およびそれらの関係の構造的表現であるシーングラフ上で、逐次的かつ文脈駆動の推論を行う強化学習ベースの視覚的質疑応答（VQA）手法を提案する。エージェントをシーングラフ上でナビゲートさせ、答えに関連するパスを特定するように訓練することで、手作業で整備されたシーングラフを用いてGQAデータセットで人間水準のパフォーマンスを達成し、強力な構成的推論能力を示している。

ABSTRACT

Visual question answering is concerned with answering free-form questions about an image. Since it requires a deep linguistic understanding of the question and the ability to associate it with various objects that are present in the image, it is an ambitious task and requires techniques from both computer vision and natural language processing. We propose a novel method that approaches the task by performing context-driven, sequential reasoning based on the objects and their semantic and spatial relationships present in the scene. As a first step, we derive a scene graph which describes the objects in the image, as well as their attributes and their mutual relationships. A reinforcement agent then learns to autonomously navigate over the extracted scene graph to generate paths, which are then the basis for deriving answers. We conduct a first experimental study on the challenging GQA dataset with manually curated scene graphs, where our method almost reaches the level of human performance.

研究の動機と目的

• 構造的シーングラフを活用することで、従来のVQAモデルが明示的な構成的推論を欠いているという限界を克服すること。
• シーングラフ上の逐次的ナビゲーションを通じて、解釈可能でパスベースの推論を視覚的質問応答に可能にすること。
• オブジェクト検出やシーングラフ生成によるノイズを排除した手作業で整備されたシーングラフを用いることで、推論パフォーマンスを独立して評価すること。
• 強化学習をシーングラフに適用することで、GQAのような複雑でバイアスが最小限のVQAベンチマークで人間水準の正確性を達成できることを示すこと。

提案手法

• 画像データから有向多重グラフ（シーングラフ）を構築し、ノードをオブジェクトまたは属性、エッジを意味的または空間的関係として定義する。
• すべての他のノードに接続するハブノードを追加し、エージェントがグラフ内の任意の点から推論を開始できるようにする。
• エージェントはシーングラフ上でポリシー誘導型のランダムウォークを実行し、現在の状態（エンティティと質問）に基づいて移動を選択する。行動は現在のノードからの出力エッジとして定義される。
• エージェントのポリシーはREINFORCEアルゴリズムを用いて最適化され、最終ノードが正しい答えに対応する場合に1の終端報酬が与えられる。
• 状態空間は、シーンエンティティと質問のカルテジアン積として定義され、エージェントの目的は推論パスを通じて答えのノードに到達することである。
• 逆関係（例：AがBを含むならば、BはAに含まれる）を明示的にモデル化することで、関係的推論の完全性を確保する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワークと比較して、シーングラフ上で強化学習を用いることで、視覚的質問応答におけるより解釈可能で構成的な推論が可能になるか。
• RQ2 シーングラフが手作業で整備されており、検出エラーが存在しない場合、モデルが推論中心のVQAベンチマークで人間水準のパフォーマンスを達成できる程度はどの程度か。
• RQ3 属性、空間的関係、論理的推論を含む複雑な視覚的質問に、構造的シーングラフ上で逐次的・マルチホップの推論がどの程度効果的に機能するか。
• RQ4 エージェントが生成する推論パスは、障害のデバッグやモデルの透明性向上に役立つか。
• RQ5 自動生成されたシーングラフと比較して、手作業で整備されたものに適用した場合、この手法のパフォーマンスはどの程度スケーリングするか。

主な発見

• 手作業で整備されたシーングラフを用いて、GQAデータセットでオープンエンドの質問に対して90.41%、バイナリの質問に対して90.86%、全体で93.13%の正確性を達成した。
• 93.68%の整合性、91.92%の妥当性、90.63%の妥当性という人間水準のパフォーマンスを示す主な評価指標で、モデルは人間水準のパフォーマンスに到達した。
• 答えがシーングラフ内に存在する質問サブセットにおいて、最先端の手法で生成されたシーングラフを用いた場合、53.24%の正確性を達成し、同じサブセットでTRRNet（50.22%）を上回った。
• モデルの推論パスは透明で解釈可能であり、ブラックボックスのニューラルネットワークと比較して、障害分析やデバッグが容易である。
• 結果から、パフォーマンスの主なボトルネックは推論モジュールではなく、現在のところ完全な展開を妨げるシーングラフ生成の品質にあると示唆された。