[論文レビュー] Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization

Daizong Liu, Xiaoye Qu+4 more|arXiv (Cornell University)|Aug 4, 2020

Multimodal Machine Learning Applications参考文献 48被引用数 11

ひとこと要約

本稿では、未編集動画におけるクエリベースのモーメント定位のため、クロスモーダルおよびセルフモーダル関係を統合的にモデル化する新しいグラフニューラルネットワーク、CSMGANを提案する。クロスモーダルおよびセルフモーダルのアテンション機構を備えた二重グラフアーキテクチャを採用することで、動画フレームとクエリ語の間で高次元の相互作用を捉え、Activity CaptionおよびTACoSデータセットで最先端の性能を達成した。

ABSTRACT

Query-based moment localization is a new task that localizes the best matched segment in an untrimmed video according to a given sentence query. In this localization task, one should pay more attention to thoroughly mine visual and linguistic information. To this end, we propose a novel Cross- and Self-Modal Graph Attention Network (CSMGAN) that recasts this task as a process of iterative messages passing over a joint graph. Specifically, the joint graph consists of Cross-Modal interaction Graph (CMG) and Self-Modal relation Graph (SMG), where frames and words are represented as nodes, and the relations between cross- and self-modal node pairs are described by an attention mechanism. Through parametric message passing, CMG highlights relevant instances across video and sentence, and then SMG models the pairwise relation inside each modality for frame (word) correlating. With multiple layers of such a joint graph, our CSMGAN is able to effectively capture high-order interactions between two modalities, thus enabling a further precise localization. Besides, to better comprehend the contextual details in the query, we develop a hierarchical sentence encoder to enhance the query understanding. Extensive experiments on four public datasets demonstrate the effectiveness of our proposed model, and GCSMAN significantly outperforms the state-of-the-arts.

研究の動機と目的

• 未編集動画における自然言語クエリに基づく短い関連動画セグメントの局所化という課題に対処すること。
• 従来の手法がクロスモーダルアテンションやセルフモーダルモデリングを個別に扱うことに起因する制限を克服すること。
• クロスモーダル関連性とモーダル内順序的依存関係を統合的にモデル化することで、細粒度の局所化を向上させること。
• 階層的文エンコーダーを用いてクエリ理解を強化し、文脈的意味をよりよく捉えること。
• 動画フレームとクエリ語の共同グラフ上でメッセージパッシングを実行する統合的でエンドツーエンドのフレームワークを構築すること。

提案手法

• フレームと語をノードとする2つの部分グラフ（クロスモーダル関係グラフ（CMG）とセルフモーダル関係グラフ（SMG））を有する統合グラフを構築する。
• CMGで異種アテンション機構を用い、各語とフレームの間の方向性のあるペアワイズ関係をモデル化することで、クロスモーダルのメッセージパッシングを実現する。
• SMGで自己アテンションを適用し、フレーム同士および語同士のペアワイズ相関関係をモデル化することで、順序的および文脈的依存関係を捉える。
• 複数層の統合グラフをスタックし、メッセージを再帰的に伝搬させることで、モーダル間の高次元相互作用学習を可能にする。
• 語をフレーズへ、その後文へと段階的に処理する階層的文エンコーダーを統合し、文脈理解を豊かにする。
• 隣接ノードからのメッセージを統合する学習可能な集約メカニズム（例：ConvGRU）を用いて、両方のグラフ内のノード表現を更新する。

実験結果

リサーチクエスチョン

• RQ1 クロスモーダルおよびセルフモーダル関係を統合的にモデル化することで、未編集動画におけるモーメント局所化の精度が向上するか？
• RQ2 動画および言語モーダル内にセルフモーダル関係を組み込むことで、境界の局所化と文脈理解にどのような影響を与えるか？
• RQ3 階層的文エンコーディング戦略が、複雑なクエリを正確に接地する能力をどの程度向上させるか？
• RQ4 メッセージパッシングにおける表現の豊かさと過剰平滑化のバランスをとる最適なグラフ層数は何か？
• RQ5 CMGおよびSMGサブグラフ内のアテンション重みが、実際の例において意味的な関係や空間的関係を的確に反映しているか？

主な発見

• 完全なCSMGANモデルは、Activity CaptionおよびTACoSデータセットの両方で最先端の性能を達成し、既存の最先端手法を上回った。
• アブレーションスタディの結果、クロスモーダルおよびセルフモーダルグラフ（w/o CSG）を削除するか、階層的文エンコーダー（w/o HS）を削除すると、性能が著しく低下し、両者の重要性が確認された。
• 2層のグラフ構造で最適な性能が得られた。2層を超えて層数を増やすと過剰平滑化が生じ、性能が低下した。
• アテンション重みの可視化により、CMGが顕著な動画セグメントに関連する語フレームペア（例：'begins', 'brushing'）を的確に強調していることが確認された。
• SMGの自己アテンションは、視覚的に似ているが意味的に関係のないフレームに対して低い重みを割り当てることで、境界フレームとセグメントフレームを効果的に区別できた。
• モデルは頑健であることが示された。すべてのアブレーションバリアントが、以前の最先端手法を上回った。これは、個々のコンponentsに依存しない、フレームワーク全体の一般化効果を示している。