[論文レビュー] VLG-Net: Video-Language Graph Matching Network for Video Grounding

Mattia Soldan, Mengmeng Xu+3 more|arXiv (Cornell University)|Nov 19, 2020

Multimodal Machine Learning Applications参考文献 73被引用数 5

ひとこと要約

VLG-Netは、動画と言語をグラフとしてモデル化することで、グラフ畳み込みネットワークとクロスモーダルグラフマッチング機構を用いて、モーダル内およびモーダル間の関係を捉えることで、時間的グラウディングを向上させる動画-言語グラフマッチングネットワークを提案する。ActivityNet-Captions、TACoS、DiDeMoの3つのベンチマークで最先端の性能を達成し、ActivityNet-CaptionsではIoU0.5のR@1が33.35%、DiDeMoではIoU1.0のR@1が88.86%を達成した。

ABSTRACT

Grounding language queries in videos aims at identifying the time interval (or moment) semantically relevant to a language query. The solution to this challenging task demands understanding videos' and queries' semantic content and the fine-grained reasoning about their multi-modal interactions. Our key idea is to recast this challenge into an algorithmic graph matching problem. Fueled by recent advances in Graph Neural Networks, we propose to leverage Graph Convolutional Networks to model video and textual information as well as their semantic alignment. To enable the mutual exchange of information across the modalities, we design a novel Video-Language Graph Matching Network (VLG-Net) to match video and query graphs. Core ingredients include representation graphs built atop video snippets and query tokens separately and used to model intra-modality relationships. A Graph Matching layer is adopted for cross-modal context modeling and multi-modal fusion. Finally, moment candidates are created using masked moment attention pooling by fusing the moment's enriched snippet features. We demonstrate superior performance over state-of-the-art grounding methods on three widely used datasets for temporal localization of moments in videos with language queries: ActivityNet-Captions, TACoS, and DiDeMo.

研究の動機と目的

• 時間的グラウディングにおける細粒度の動画-言語アライメントの課題に対処する。ここでは、言語クエリを正確な動画の瞬間にマッチングさせる必要がある。
• 動画スニペットとクエリトークン間の非局所的意味的関係を組み込むことで、局所的文脈モデリングの限界を克服する。
• スニペット-トークン間の相互作用をモデル化する学習可能なグラフマッチング機構にヒューリスティックな操作を置き換えることで、マルチモーダル統合を向上させる。
• 動画および言語モダリティの両方をグラフ構造でモデリングすることで、文脈に適応した表現のエンドツーエンド学習を可能にする。
• グラフベースのフレームワーク内で文脈モデリング、アライメント、統合を統合することで、標準的な動画グラウディングベンチマークで優れた性能を達成する。

提案手法

• 各スニペットをノードとする動画グラフを構築し、順序エッジ（時間的近接性）と意味的エッジ（非局所的類似性）を介して、動画内文脈をモデル化する。
• 各トークンをノードとする言語グラフを構築し、文法的依存関係エッジを介して、言語的構造とクエリ内文脈をモデル化する。
• 各モダリティ固有のグラフ内で表現を伝搬・強化するために、グラフ畳み込みネットワーク（GCNs）を適用し、局所的および非局所的関係を捉える。
• 動画スニペットと言語トークン間で動的かつ学習可能なエッジを学習するクロスグラフアテンションベースのマッチング層を導入し、細粒度のアライメントを可能にする。
• マスクされたモーメントアテンションプーリングを用いて、強化されたスニペット特徴を統合し、アラインドされたグラフ表現に基づいてモーメント候補を生成する。
• 複数のIoUしきい値でグラウディング精度を最適化するため、トリプレット損失目的関数を用いてエンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 動画スニペットおよび言語トークンのモーダル内関係のグラフベースモデリングは、動画グラウディングのための文脈表現を向上させることができるか？
• RQ2 動画グラフと言語グラフ間の学習可能なグラフマッチング機構は、連結やハダマール積といった従来の統合操作よりも優れたアライメントを実現するか？
• RQ3 動画スニペット間の非局所的意味的関係を組み込むことで、局所的時間的文脈に依存する場合と比較して、グラウディング性能にどのような影響を与えるか？
• RQ4 提案されたグラフマッチングモジュールは、従来の手法と比較して、マルチモーダル統合とモーメントロケーション精度をどの程度向上させるか？
• RQ5 ActivityNet-Captions、TACoS、DiDeMoのように、言語の複雑さや動画の長さが異なる多様なデータセットにおいて、モデルは一般化可能か？

主な発見

• VLG-Netは、ActivityNet-Captionsで33.35%のR@1 IoU0.5を達成し、以前の最先端手法ROLEを3.95ポイント上回った。
• DiDeMoでは、88.86%のR@1 IoU1.0を達成し、報告済みのすべての手法の中で最高水準であり、厳しいグラウディング基準でも優れた性能を示した。
• アブレーションスタディの結果、非局所的文脈モデリングを削除した場合（VLG-Net NC）R@1 IoU0.5は25.37%に低下し、非局所的関係の重要性が浮き彫りになった。
• スニペットレベルでグラフマッチングモジュールをハダマール積に置き換えた場合（VLG-Net HM）R@1 IoU0.5は30.94%に低下し、提案された統合機構の優位性が示された。
• 完全なグラフマッチングモジュールを搭載したモデル（VLG-Net）は、ActivityNet-Captionsで56.56%のR@5 IoU0.5を達成し、すべてのアブレーションバージョンおよび既存手法を上回った。
• 定性的な結果では、VLG-Netが、たとえば連続的なシーンについての記述的クエリに対して、完全な動画を正確にマッチングさせるなど、正解よりも意味的に一貫性のあるモーメント境界を予測することがあることがわかった。