[論文レビュー] LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval

Reuben Tan, Huijuan Xu+2 more|arXiv (Cornell University)|Sep 27, 2019

Multimodal Machine Learning Applications参考文献 40被引用数 13

ひとこと要約

LoGANは、反復的メッセージパッシングを用いたワード条件下視覚グラフ（WCVG）により、すべての動画フレーム同士の関係的文脈と微細なフレームごとの単語間相互作用をモデル化する潜在的グラフ共同注意ネットワークを提案する。クエリ条件下のグラフ推論と位置符号化を活用することで、DiDeMoデータセットにおいてRecall@1で11%高い最先端の性能を達成し、強力に教師あり手法でさえも上回った。

ABSTRACT

The goal of weakly-supervised video moment retrieval is to localize the video segment most relevant to the given natural language query without access to temporal annotations during training. Prior strongly- and weakly-supervised approaches often leverage co-attention mechanisms to learn visual-semantic representations for localization. However, while such approaches tend to focus on identifying relationships between elements of the video and language modalities, there is less emphasis on modeling relational context between video frames given the semantic context of the query. Consequently, the above-mentioned visual-semantic representations, built upon local frame features, do not contain much contextual information. To address this limitation, we propose a Latent Graph Co-Attention Network (LoGAN) that exploits fine-grained frame-by-word interactions to reason about correspondences between all possible pairs of frames, given the semantic context of the query. Comprehensive experiments across two datasets, DiDeMo and Charades-Sta, demonstrate the effectiveness of our proposed latent co-attention model where it outperforms current state-of-the-art (SOTA) weakly-supervised approaches by a significant margin. Notably, it even achieves a 11% improvement to Recall@1 accuracy over strongly-supervised SOTA methods on DiDeMo.

研究の動機と目的

• 従来の弱教師あり動画モーメント検索手法がフレームを独立した入力として扱うため、関係的および時間的文脈が欠落しているという問題に取り組む。
• クエリ条件下のグラフ推論を用いて、すべての可能なフレームペア間の対応関係をモデル化することで、視覚的・意味的表現学習を向上させる。
• 動画シーケンス全体における微細なフレームごとの単語間相互作用および文脈的依存関係を捉えることで、局所化の正確性を向上させる。
• グラフ伝播による潜在的マルチモodal推論が、標準的な共同注意やLSTMベースのアプローチと比較して優れた性能を発揮することを示す。
• 文脈的な視覚的・意味的表現を用いて、弱教師あり動画・言語理解のための強力なベースラインを確立する。

提案手法

• ノードがフレーム特徴量および視覚的・意味的表現であるワード条件下視覚グラフ（WCVG）を構築し、メッセージパッシングによりエッジの重みを動的に決定する。
• フレーム固有の動画表現で単語特徴量を更新することで、視覚的・意味的表現を計算し、微細なクロスモーダル整合性を実現する。
• 複数回のメッセージパッシング反復により、クエリに条件づけられた時間的および関係的依存関係をすべてのフレームペア間で伝搬する。
• 相対的なフレーム位置情報を注入するために位置符号化を用い、時間的エンドポイント特徴量よりもシーケンス文脈をより効果的にモデル化できた。
• 弱教師ありの動画・クエリペアのみを用い、時間的アノテーションなしでエンドツーエンドに学習可能な、複数インスタンス学習（MIL）パラダイムを採用する。
• 再帰的処理を避け、グラフベースのメッセージパッシングに依存することで、効率的かつ包括的なフレーム間推論が可能になった。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの共同注意機構を用いてフレームペア間の関係をモデル化することで、弱教師あり動画モーメント検索の性能が向上するか？
• RQ2 視覚グラフにおけるクエリ条件下のメッセージパッシングは、動画セグメントと自然言語クエリの間の整合性を向上させるか？
• RQ3 位置符号化の導入は、時間的エンドポイント特徴量（TEF）と比較して、局所化の正確性をどのように向上させるか？
• RQ4 フレームごとの単語間相互作用を組み込むことで、文レベルの表現集約に比べて視覚的・意味的推論の性能がどの程度向上するか？
• RQ5 弱教師ありモデルは、標準ベンチマークで強教師ありSOTA手法と同等またはそれ以上の性能を達成できるか？

主な発見

• LoGANはDiDeMoデータセットで39.20%のRecall@1を達成し、以前のSOTA弱教師あり手法（TGA）を27ポイント以上上回った。
• DiDeMoでは、TGN や MCN といった強教師ありSOTA手法よりもRecall@1で11%高い性能を示し、文脈的推論の有効性を裏付けた。
• アブレーションスタディにより、WCVGコンポーネントがベースラインのFBWモデルに比べてRecall@1を6.91ポイント向上させたことが確認され、グラフベースのメッセージパッシングの価値が示された。
• 位置符号化は整合性の正確性を顕著に向上させたが、時間的エンドポイント特徴量（TEF）は性能向上をもたらさず、シーケンス文脈をモデル化する上で劣っていることが示された。
• メッセージパッシングを3回実行した場合が最良の性能を示し、さらに反復を増やすと性能が低下したため、文脈集約の最適なバランスがあることが示唆された。
• パrameter数をより大きなベースラインと一致させた場合でも、モデルの性能は安定しており、提案アーキテクチャの効率性と有効性が確認された。