[論文レビュー] Negative Sample Matters: A Renaissance of Metric Learning for Temporal Grounding

Zhenzhi Wang, Limin Wang+3 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、時間的接地のためのメトリック学習フレームワークとして、相互一致ネットワーク（MMN）を提案する。MMNは、クロスモーダル相互一致を用いて、動画内および動画間のネガティブサンプルを活用することで表現学習を向上させる。共同埋め込み空間で類似度を直接モデル化し、対照的およびIoUベースの監視を備えた二重ブランチのシアンサイト型アーキテクチャを採用することで、Charades-STA、TACoS、ActivityNet-Captions、HC-STVGの4つのベンチマークで最先端の性能を達成した。

ABSTRACT

Temporal grounding aims to localize a video moment which is semantically aligned with a given natural language query. Existing methods typically apply a detection or regression pipeline on the fused representation with the research focus on designing complicated prediction heads or fusion strategies. Instead, from a perspective on temporal grounding as a metric-learning problem, we present a Mutual Matching Network (MMN), to directly model the similarity between language queries and video moments in a joint embedding space. This new metric-learning framework enables fully exploiting negative samples from two new aspects: constructing negative cross-modal pairs in a mutual matching scheme and mining negative pairs across different videos. These new negative samples could enhance the joint representation learning of two modalities via cross-modal mutual matching to maximize their mutual information. Experiments show that our MMN achieves highly competitive performance compared with the state-of-the-art methods on four video grounding benchmarks. Based on MMN, we present a winner solution for the HC-STVG challenge of the 3rd PIC workshop. This suggests that metric learning is still a promising method for temporal grounding via capturing the essential cross-modal correlation in a joint embedding space. Code is available at https://github.com/MCG-NJU/MMN.

研究の動機と目的

• 既存手法が検出/回帰ヘッドに依存しており、時間的接地におけるネガティブサンプルの活用が不十分であるという限界を是正すること。
• 言語クエリと動画モーメントを対称的に扱い、両者を共有の空間に共同埋め込みすることで、クロスモーダル表現学習を向上させること。
• 動画内ペアにとどまらない、動画間ネガティブサンプルおよび一致しないペア間の相互一致の有効性を検討すること。
• 対照的および回帰監視を丁寧に設計したメトリック学習フレームワークが、複雑な検出ベースのアーキテクチャを上回ることを示すこと。

提案手法

• 同じ動画内のクエリ間でモーメント特徴を共有する、シアンサイト型に類似したネットワークアーキテクチャを提案し、計算コストを低減する。
• 正しいクエリと一致しないクエリ（動画内および動画間）を対比することで、特徴の識別能を向上させる相互一致目的関数を導入する。
• マッチングされたクエリ-モーメントペア間の相互情報量を最大化するために、クロスモーダル相互一致に基づくペア識別損失を採用する。
• vIoUを正例として用い、IoU回帰ブランチを組み込んで、連続的な監視により時系列予測を精緻化する。
• 効率的なクロスモーダルマッチングのため、共同埋め込み空間におけるドット積類似度を用いる。
• 候補チューブを特徴シーケンスとして扱い、vIoUを用いて選択と精緻化を誘導することで、スパatio-temporal grounding（STVG）にフレームワークを適応する。

実験結果

リサーチクエスチョン

• RQ1 特に一致しないネガティブサンプルを含めた、言語クエリと動画モーメント間の相互一致が、時間的接地における表現学習を改善できるか？
• RQ2 動画内ネガティブペアに加え、動画間ネガティブペアを活用することで、モデルの汎化性能と性能が向上するか？
• RQ3 対照的および回帰監視を備えたシンプルなメトリック学習フレームワークが、複雑な検出ベースまたはトランスフォーマー基盤のモデルを上回れるか？
• RQ4 MMNフレームワークは、アノテーションが限られたHC-STVGデータセットのような低リソース環境でも効果的か？
• RQ5 両モダリティからの対称的監視を用いた共同埋め込み学習は、ゼロショットまたはフェイシュートの転移性をどの程度向上させるか？

主な発見

• MMNは、Charades-STA、TACoS、ActivityNet-Captions、HC-STVGの4つの主要な時間的接地ベンチマークで最先端の性能を達成した。
• HC-STVGベンチマークでは、m_vIoUが30.32、vIoU@0.5が25.56を達成し、強力なベースライン（STVGBert：20.42 m_vIoU、2D-TAN+WSSTG：15.43 m_vIoU）を上回った。
• 第3回PICワークショップのHC-STVGチャレンジにおいて、MMNは大規模なマルチモーダル事前学習（例：LXMERT、MDETR）を用いたモデルを上回り、1位を獲得した。
• 相互一致と動画間ネガティブサンプルの導入による性能向上は顕著で、同じ候補チューブを用いた2D-TANと比較して10%の相対的改善が得られた。
• ペア識別損失とIoU回帰ブランチの統合により、性能が約0.5%向上し、バイナリ監視と連続監視の相補的利点が確認された。
• t-SNE可視化により、共同埋め込み空間が意味的類似度を効果的に捉えており、マッチングされたペアと一致しないペアのクラスタが明確に分離されていることが確認された。