[論文レビュー] Heterogeneous Graph Learning for Visual Commonsense Reasoning

Weijiang Yu, Jingwen Zhou+3 more|arXiv (Cornell University)|Oct 25, 2019

Multimodal Machine Learning Applications被引用数 18

ひとこと要約

本稿では、視覚と言語の推論を二重の非均質的グラフモジュール—視覚から答えへの非均質的グラフ（VAHG）と質問から答えへの非均質的グラフ（QAHG）—を統合することで、解釈可能で意味的に整合した推論を可能にする、新しいフレームワークHeterogeneous Graph Learning（HGL）を提案する。HGLは、ドメイン内およびドメイン間の関係を同時に最適化し、グローバルな文脈を捉えるために文脈的投票モジュール（CVM）を統合することで、視覚共通仮説推論（VCR）タスクで最先端の性能を達成し、Q→ARで5.8%、Q→Aで5%、QA→Rで3.5%の精度向上を実現した。

ABSTRACT

Visual commonsense reasoning task aims at leading the research field into solving cognition-level reasoning with the ability of predicting correct answers and meanwhile providing convincing reasoning paths, resulting in three sub-tasks i.e., Q->A, QA->R and Q->AR. It poses great challenges over the proper semantic alignment between vision and linguistic domains and knowledge reasoning to generate persuasive reasoning paths. Existing works either resort to a powerful end-to-end network that cannot produce interpretable reasoning paths or solely explore intra-relationship of visual objects (homogeneous graph) while ignoring the cross-domain semantic alignment among visual concepts and linguistic words. In this paper, we propose a new Heterogeneous Graph Learning (HGL) framework for seamlessly integrating the intra-graph and inter-graph reasoning in order to bridge vision and language domain. Our HGL consists of a primal vision-to-answer heterogeneous graph (VAHG) module and a dual question-to-answer heterogeneous graph (QAHG) module to interactively refine reasoning paths for semantic agreement. Moreover, our HGL integrates a contextual voting module to exploit a long-range visual context for better global reasoning. Experiments on the large-scale Visual Commonsense Reasoning benchmark demonstrate the superior performance of our proposed modules on three tasks (improving 5% accuracy on Q->A, 3.5% on QA->R, 5.8% on Q->AR)

研究の動機と目的

• 視覚共通仮説推論タスクにおける視覚と言語の間の意味的不整合の課題に対処すること。
• 視覚的および言語的概念の間のクロスドメイン関係を無視する既存の均質的グラフモデルの限界を克服すること。
• 視覚内関係と視覚から言語への相互作用を両方モデル化することで、解釈可能な推論経路を実現すること。
• 低レベル特徴から長距離視覚的文脈を統合する新しい文脈的投票モジュール（CVM）を用いて、グローバルなシーン理解を向上させること。
• Q→A、QA→R、Q→ARの3つのVCRベンチマークで最先端の性能を達成すること。

提案手法

• 学習されたノード埋め込みを介して、視覚的エンティティ（例：人物、ボトル）と言語的概念（例：'注ぎ込む'）を結ぶ、視覚から答えへの非均質的グラフ（VAHG）を構築する。
• 質問の意味と答えの根拠を接続することで、説得力のある推論経路を生成する、質問から答えへの非均質的グラフ（QAHG）を設計する。
• 質問の文脈と画像特徴に基づいて、VAHGおよびQAHGの表現を反復的に最適化するための統合推論メカニズムを用いる。
• 低レベル特徴から長距離視覚的文脈を統合することで、グローバルなシーン表現を強化する文脈的投票モジュール（CVM）を統合する。
• 進化した非均質的グラフ表現を用いて、最終的な答え予測をルーティングするためのガイドラインメカニズムを適用する。
• 信頼度重み付きアテンションを活用してノードの相関関係を学び、推論中にグラフ構造を動的に進化させる。

実験結果

リサーチクエスチョン

• RQ1 非均質的グラフ学習フレームワークは、視覚共通仮説推論における視覚と言語の間の意味的ギャップを効果的に埋め合わせることができるか？
• RQ2 視覚から答えへのようなドメイン間関係を統合することで、均質的グラフモデルと比較して推論経路の解釈可能性と精度がどのように向上するか？
• RQ3 視覚内関係とクロスモーダル関係の両方をモデル化することで、Q→A、QA→R、Q→ARタスクにおける性能がどの程度向上するか？
• RQ4 文脈的投票モジュール（CVM）は、局所的オブジェクト特徴を超えた長距離視覚的文脈を捉えることで、推論をどのように改善するか？
• RQ5 VAHG、QAHG、CVMの各モジュールが、視覚推論全体の性能向上に果たす個別の貢献度はどの程度か？

主な発見

• HGLはVCRベンチマークで最先端の性能を達成し、先行手法と比較してQ→ARタスクで5.8%、Q→Aで5%、QA→Rで3.5%の精度向上を実現した。
• 文脈的投票モジュール（CVM）単体でも、Q→Aで1.8%、QA→Rで1.2%、Q→ARで3.1%の性能向上を示し、グローバルな文脈モデリングの有効性を裏付けた。
• QAHGモジュールは全タスクで約1.0%の精度向上を寄与し、質問と答えの意味を結びつけることで説得力のある推論経路を生成する役割を検証した。
• VAHGモジュールは、Q→Aで2.6%、QA→Rで2.1%、Q→ARで3.3%のベースライン精度向上を達成し、視覚的ノードと言語的ノードの強い整合性を示した。
• アブレーションスタディの結果、VAHG、QAHG、CVMの組み合わせが最高の性能（Q→Aで69.4%、QA→Rで70.6%、Q→ARで49.1%）を達成した。CVMを除いたHGLでも、Q→ARでベースラインを5.6%上回った。
• 定性的分析により、HGLが機能的行動（例：'注ぎ込む'）や感情的キュー（例：'怒っている'）を視覚的および言語的ノードに結びつけ、一貫性のある推論を実現していることが確認された。