[論文レビュー] Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning

Shuai Cheng Li, Feng Zhang+5 more|arXiv (Cornell University)|Jun 21, 2022

Video Analysis and Summarization被引用数 5

ひとこと要約

本稿では、動画ハイライト検出のためのハードペアガイドドコントラスト学習（HPCL）フレームワークを提案する。視覚的・聴覚的表現を、モダリティ内およびモダリティ間の共起符号化によって向上させることで、特徴の識別性を高める。本手法は、YouTube Highlights（F1: 0.747）およびTVSum（F1: 0.803）で最先端性能を達成し、ハードネガティブマイニングを用いた判別的コントラスト学習により、特徴の凝縮性と分離性が優れていることを示している。

ABSTRACT

Video highlight detection is a crucial yet challenging problem that aims to identify the interesting moments in untrimmed videos. The key to this task lies in effective video representations that jointly pursue two goals, extit{i.e.}, cross-modal representation learning and fine-grained feature discrimination. In this paper, these two challenges are tackled by not only enriching intra-modality and cross-modality relations for representation modeling but also shaping the features in a discriminative manner. Our proposed method mainly leverages the intra-modality encoding and cross-modality co-occurrence encoding for fully representation modeling. Specifically, intra-modality encoding augments the modality-wise features and dampens irrelevant modality via within-modality relation learning in both audio and visual signals. Meanwhile, cross-modality co-occurrence encoding focuses on the co-occurrence inter-modality relations and selectively captures effective information among multi-modality. The multi-modal representation is further enhanced by the global information abstracted from the local context. In addition, we enlarge the discriminative power of feature embedding with a hard-pairs guided contrastive learning (HPCL) scheme. A hard-pairs sampling strategy is further employed to mine the hard samples for improving feature discrimination in HPCL. Extensive experiments conducted on two benchmarks demonstrate the effectiveness and superiority of our proposed methods compared to other state-of-the-art methods.

研究の動機と目的

• 動画ハイライト検出において、モダリティ間の文脈を統合的にモデル化し、ハイライトと非ハイライトセグメントを区別できるような判別的動画表現を学習する課題に対処すること。
• 注釈ベースの符号化を用いてモダリティ内およびモダリティ間関係を強化することで、動画ハイライト検出の性能を向上させること。
• 意味的に類似しているが区別が難しいハイライトおよび非ハイライトセグメントに注目するハードペアガイドドコントラスト学習（HPCL）スキームを導入することで、特徴の識別性を高めること。
• セグメントレベル表現を効果的に統合するデコーダーを用いてグローバルな文脈抽象化を実現し、意味的理解を向上させること。

提案手法

• 本手法は、視覚、聴覚、共起の3つのストリームを用い、モダリティ固有およびシーケンス固有の注釈メカニズムを活用してモダリティ内およびモダリティ間関係をモデル化する。
• モダリティ内符号化は、音声および視覚ストリーム内のモダリティ固有の関係を学習することで、モダリティ固有の特徴を強化し、不要な信号を抑制する。
• モダリティ間共起符号化は、異なるモダリティ間の同期的かつ関連する信号を、モダリティ間の共起パターンをモデル化することで捉える。
• グローバルデコーダーは、セグメントレベル表現を効果的に統合することで、高レベルの意味的文脈を抽象化し、全体の表現品質を向上させる。
• ハードペアガイドドコントラスト学習（HPCL）を導入することで、ポジティブ（ハイライト）セグメントを引き寄せ、ハードネガティブ（混乱を引き起こす非ハイライト）セグメントを遠ざけることで、特徴の識別性を向上させる。
• ハードペアサンプリング戦略を適用し、ハイライト境界付近の困難なネガティブサンプルを優先的に処理することで、微細な差を区別する能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的・聴覚的表現をどのように共同最適化することで、動画ハイライト検出におけるモダリティ間文脈モデル化を向上させられるか？
• RQ2 モダリティ内関係学習は、モダリティ固有の特徴品質を向上させ、ノイズを低減するために果たす役割は何か？
• RQ3 単純な連結やクロスアテンションと比較して、モダリティ間信号の共起符号化が表現学習にどのように寄与するか？
• RQ4 ハードペアガイドドコントラスト学習は、ハイライト検出におけるセグメント間識別性をどの程度向上させるか？
• RQ5 セグメントレベル特徴からのグローバルな文脈抽象化は、最終的な検出性能にどのように影響を与えるか？

主な発見

• 提案手法は、YouTube HighlightsデータセットでF1スコア0.747、TVSumデータセットでF1スコア0.803を達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、グローバルデコーダーを削除するとわずかな性能低下が見られ、ランダム初期化はセグメント埋め込みの平均値を用いた場合より劣った結果を示した。
• HPCLの導入により、対照的な損失なしのベースラインと比較して、YouTube Highlightsで3.1%、TVSumで2.6%の性能向上が達成された。
• 共起符号化モジュールの導入により、F1が0.697（CR-AV）から0.747に上昇し、標準的なクロスアテンションよりも顕著な効果を示した。
• ハードペアサンプリングは、YouTube Highlightsで追加で1.4%の性能向上をもたらし、特徴識別性の強化に有効であることが確認された。
• t-SNE可視化により、最終モデルが、特にHPCLを適用した場合に、クラス内凝縮性とクラス間分散性の両方が向上していることが確認された。