[論文レビュー] Neural Message Passing for Visual Relationship Detection

Yue Hu, Siheng Chen+3 more|arXiv (Cornell University)|Aug 8, 2022

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、視覚的関係を有向相互作用グラフとしてモデル化し、メッセージパッシングを用いてオブジェクト間および相互作用間の高次的文脈的依存関係を捉える、グラフベースの手法であるNeural Message Passing（NMP）を提案する。視覚的特徴、単語埋め込み、空間的ヒントを統合することで、VRDおよびVGデータセットにおいて最先端の性能を達成し、関係検出ではRecall@100が96.61%に向上し、ゼロショット述語検出では27.50%に向上した。

ABSTRACT

Visual relationship detection aims to detect the interactions between objects in an image; however, this task suffers from combinatorial explosion due to the variety of objects and interactions. Since the interactions associated with the same object are dependent, we explore the dependency of interactions to reduce the search space. We explicitly model objects and interactions by an interaction graph and then propose a message-passing-style algorithm to propagate the contextual information. We thus call the proposed method neural message passing (NMP). We further integrate language priors and spatial cues to rule out unrealistic interactions and capture spatial interactions. Experimental results on two benchmark datasets demonstrate the superiority of our proposed method. Our code is available at https://github.com/PhyllisH/NMP.

研究の動機と目的

• 膨大な数の潜在的subject-predicate-objectトリプルに起因する、組み合わせ的爆発と文脈モデリングの欠如という視覚的関係検出の課題に取り組む。
• 従来の手法が関係を独立して扱うか、相互作用間の依存関係を無視するという制限を克服する。
• 言語的事前知識と空間的ヒントを統合することで、非現実的な関係をフィルタリングし、空間的推論を捉えることで一般化性能を向上させる。
• 有向相互作用グラフ上で構造的メッセージパッシングを用いて、オブジェクトと相互作用の埋め込みを統合的に学習するフレームワークを構築する。

提案手法

• ノードが検出されたオブジェクトを表し、エッジが潜在的な関係（subject-predicate-objectトリプル）を表す有向相互作用グラフを構築する。
• 相互作用グラフ上でメッセージパッシング機構を適用し、ノード間およびエッジ間で文脈的情報を伝搬させ、オブジェクトおよび相互作用の埋め込みを強化する。
• オブジェクト検出器からの視覚的外観特徴、オブジェクトおよび述語語の単語埋め込み、相対的な空間座標を入力特徴として統合する。
• 強化されたエッジ埋め込みと空間的特徴を用いて、マルチレイヤーパーセプトロンを介して関係トリプルのエンドツーエンド分類を実行する。
• グラフ構造を活用して、1つの相互作用が他の相互作用の妥当性に制約をかけるなど、複数の関係にわたる高次的依存関係をモデル化する。
• 関係予測タスクにおいて交差エントロピー損失を用いて、エンドツーエンドでモデルを学習し、部成分の寄与を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 構造的相互作用グラフ上でメッセージパッシングを適用することで、視覚的関係間の依存関係を効果的にモデル化し、検出性能を向上させることができるか？
• RQ2 言語的事前知識と空間的ヒントは、非現実的な関係をフィルタリングし、視覚的関係検出における空間的推論を強化するためにどの程度寄与するか？
• RQ3 グラフベースのメッセージパッシングにより高次的文脈的情報を統合することで、特にゼロショット設定において一般化性能がどの程度向上するか？
• RQ4 視覚的特徴、単語埋め込み、空間的ヒント、メッセージパッシングといった個々のコンポONENTが、全体の性能向上にどの程度寄与しているか？

主な発見

• NMPは、VRDデータセットの関係検出タスクにおいて、96.61%という新たなSOTAのRecall@100を達成し、従来手法から約3%の向上を示した。
• ゼロショット述語検出ベンチマークでは、R@50とR@100がそれぞれ5%および4.5%向上し、優れた一般化能力を示した。
• 単語埋め込みと空間的ヒントの統合により、述語検出でそれぞれ3%および1%の性能向上が得られ、非現実的な関係のフィルタリングにおけるその役割が顕著に示された。
• メッセージパッシングは、述語検出でRecall@100に常に3%の向上をもたらし、関係検出では2%の向上を示し、文脈的依存関係を捉える有効性を確認した。
• より大きなVGデータセットでは、NMPは述語検出においてR@50が89.69%、R@100が95.54%を達成し、先行SOTA手法を大きく上回った。
• アブレーションスタディにより、視覚的特徴、言語的事前知識、空間的ヒント、メッセージパッシングといった各コンponentが最終的な性能に有意義に寄与していることが確認され、特にメッセージパッシングが最も安定した向上をもたらした。