[論文レビュー] G2L: Semantically Aligned and Uniform Video Grounding via Geodesic and Game Theory

Hongxiang Li, Meng Cao+4 more|arXiv (Cornell University)|Jul 26, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

G2Lは、動画の瞬間同士の時間的および意味的相関をモデル化するための測地的距離と、ゲーム理論的シャープレイ相互作用を用いて、意味的に整合的で均一な表現学習を実現する新しい動画グランドイングフレームワークを提案する。この手法は、意味的重複や疎なアノテーションによる問題を軽減することで、3つのベンチマークでアンサンブル対照的学習を上回る性能を発揮する。

ABSTRACT

The recent video grounding works attempt to introduce vanilla contrastive learning into video grounding. However, we claim that this naive solution is suboptimal. Contrastive learning requires two key properties: (1) \emph{alignment} of features of similar samples, and (2) \emph{uniformity} of the induced distribution of the normalized features on the hypersphere. Due to two annoying issues in video grounding: (1) the co-existence of some visual entities in both ground truth and other moments, \ie semantic overlapping; (2) only a few moments in the video are annotated, \ie sparse annotation dilemma, vanilla contrastive learning is unable to model the correlations between temporally distant moments and learned inconsistent video representations. Both characteristics lead to vanilla contrastive learning being unsuitable for video grounding. In this paper, we introduce Geodesic and Game Localization (G2L), a semantically aligned and uniform video grounding framework via geodesic and game theory. We quantify the correlations among moments leveraging the geodesic distance that guides the model to learn the correct cross-modal representations. Furthermore, from the novel perspective of game theory, we propose semantic Shapley interaction based on geodesic distance sampling to learn fine-grained semantic alignment in similar moments. Experiments on three benchmarks demonstrate the effectiveness of our method.

研究の動機と目的

• 時間的基準に基づく陽性/陰性サンプリングが、非隣接または重複する瞬間同士の意味的類似性を捉えきれない、アンサンブル対照的学習の限界を是正すること。
• 視覚的に似た実体が正例と非正例の両方の瞬間に出現する意味的重複問題を克服し、一貫性のない特徴表現を回避すること。
• 監視が不足するため、アノテートされていない瞬間が関連するクエリから誤って離されてしまう疎なアノテーション問題を軽減すること。
• 動画瞬間間およびマルチモーダルな関係を測地的距離を用いてモデル化することで、表現の均一性と整合性を向上させること。
• 測地的距離に基づくサンプリングを用いたゲーム理論的シャープレイ相互作用モジュールを導入し、非常に似た瞬間同士の細分化された意味的差を明確にすること。

提案手法

• 動画クリップからモーメントグラフを構築し、動画表現の多様体構造をモデル化することで、測地的距離を意味的類似性の代理として計算可能にする。
• 標準的な対照的学習における厳密な時間的基準の陽性/陰性サンプリングを、グラフ上で近い瞬間がより意味的に整合的とみなされる測地的距離に基づくサンプリングに置き換える。
• 動画瞬間とクエリを協力ゲームのプレイヤーとして定式化し、各コンポonentの限界寄与度を測定する意味的シャープレイ相互作用を計算することで、細分化された整合性を向上させる。
• 測地的距離に基づいて動画内瞬間をサンプリングする微分可能な意味的シャープレイ相互作用モジュールを設計し、意味的に似たクリップ間の微細な差に焦点を当てる。
• 測地的距離を用いた対照的学習（GCL）モジュールと意味的シャープレイ相互作用（SSI）モジュールを統合し、整合性と均一性を同時に最適化する統一された学習目的を構築する。
• t-SNE可視化を用いて、G2Lがナチュラルな対照的学習が引き起こす表現クラスタリングアーティファクト（例：「アイランド」）を低減し、より均一で意味的に整合性のある特徴空間を実現することを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な時間的距離やユークリッド距離と比較して、モーメントグラフ上の測地的距離は、時間的に離れているか重複する動画瞬間同士の意味的相関をよりよく捉えられるか？
• RQ2 厳密な時間的基準の対照的学習を測地的距離に基づくサンプリングに置き換えることで、動画-テキスト表現の整合性と均一性にどのような影響を与えるか？
• RQ3 ゲーム理論的シャープレイ相互作用は、動画グランドイングにおける意味的に似た瞬間同士の識別をどの程度向上できるか？
• RQ4 提案されたG2Lフレームワークは、動画グランドイングにおける意味的重複と疎なアノテーションの悪影響を効果的に軽減できるか？
• RQ5 測地的距離とシャープレイ相互作用の統合は、複数の動画グランドイングベンチマークで一貫した性能向上をもたらすか？

主な発見

• G2Lは、ActivityNet-Captions、MSVD、MSVD-ASRの3つの動画グランドイングベンチマークで最先端の性能を達成し、ベースラインの対照的学習手法に対する一貫した改善を示した。
• ユークリッド距離、タイムスタンプ、コサイン距離と比較して測地的距離を用いることで、mAPが最大5%（ユークリッド）、2%（タイムスタンプ）、3%（コサイン）向上し、意味的構造を捉える優位性を示した。
• 意味的シャープレイ相互作用モジュールにより、視覚的に似た瞬間同士の混乱が低減された。t-SNE可視化では、特徴空間における「アイランド」クラスタの消失が確認された。
• G2Lは、測地的パスを介してアノテートされていない瞬間とクエリの関係をモデル化することで、疎なアノテーションに起因する性能低下を低減した。
• ベースモデルと比較して推論時間はわずか3秒増加したため、K-NNグラフとSSIモジュールによる追加の学習複雑性にもかかわらず、G2Lフレームワークは効率的であることが示された。
• 定性的な結果から、G2Lは動画後半に再出現するイベント（例：「再び編んでる」、「2番目のベルト」）を正しくグランドイングできており、標準的な対照的手法ではローカライズに失敗するケースを効果的に処理できた。