[論文レビュー] Temporal Context Aggregation for Video Retrieval with Contrastive Learning

Jie Shao, Xin Wen+2 more|arXiv (Cornell University)|Aug 4, 2020

Multimodal Machine Learning Applications参考文献 60被引用数 8

ひとこと要約

本稿では、フレームレベル特徴から長距離時系列的文脈を自己注意機構を用いて集約することで、意味的依存関係のモデリングを向上させる動画検索フレームワークTCAを提案する。硬い負例の有効なマイニングを実現するメモリバンクを備えた教師あり対照的学習手法を導入し、FIVR-200KでSOTAを達成し、mAPが17%向上し、フレームレベルベースラインと比較して22倍高速な推論を実現した。

ABSTRACT

The current research focus on Content-Based Video Retrieval requires higher-level video representation describing the long-range semantic dependencies of relevant incidents, events, etc. However, existing methods commonly process the frames of a video as individual images or short clips, making the modeling of long-range semantic dependencies difficult. In this paper, we propose TCA (Temporal Context Aggregation for Video Retrieval), a video representation learning framework that incorporates long-range temporal information between frame-level features using the self-attention mechanism. To train it on video retrieval datasets, we propose a supervised contrastive learning method that performs automatic hard negative mining and utilizes the memory bank mechanism to increase the capacity of negative samples. Extensive experiments are conducted on multiple video retrieval tasks, such as CC_WEB_VIDEO, FIVR-200K, and EVVE. The proposed method shows a significant performance advantage (~17% mAP on FIVR-200K) over state-of-the-art methods with video-level features, and deliver competitive results with 22x faster inference time comparing with frame-level features.

研究の動機と目的

• 現在の手法がフレームを独立したクリップや画像として扱う中で、動画検索における長距離の意味的依存関係をモデリングする課題に対処すること。
• 自己注意機構を用いてフレーム間の時系列的文脈を集約することで、動画表現を向上させること。
• 手動でのサンプリングなしに自動的に硬い負例をマイニングできる学習戦略を開発すること。
• 従来の動画レベルおよびフレームレベル手法と比較して、検索精度と推論効率のバランスを向上させること。

提案手法

• TCAは自己注意機構を用いてフレームレベル特徴を統合し、動画レベルの表現に変換することで、長距離の時系列的依存関係を捉える。
• モデルは、大規模な負例サンプルを格納・効率的にアクセスできる共有メモリバンクを用いた教師あり対照的学習目的関数で訓練される。
• メモリバンク機構により計算コストが低減され、動画検索データセットに含まれる豊富な負例を効果的に活用できる。
• 勾配解析の結果、本手法は本質的に硬い負例マイニングを実行しており、明示的なサンプリングなしにモデルの識別性能が向上することが示された。
• フレームレベルおよび動画レベルの特徴抽出をサポートしており、柔軟かつ効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、動画検索タスクにおいて長距離の意味的依存関係を効果的にモデリングできるか？
• RQ2 メモリ拡張型の対照的学習アプローチは、より少ない手動によるハイパーパrameterチューニングで、従来の三重損失を上回る性能を発揮できるか？
• RQ3 勾配ダイナミクスによる自動硬い負例マイニングは、明示的なサンプリングなしに検索性能を向上させられるか？
• RQ4 動画レベル特徴アプローチは、フレームレベル手法と同等またはそれ以上の精度を達成できるか、かつ著しく高速化できるか？

主な発見

• TCAは、SOTAの動画レベル手法と比較して、FIVR-200K ISVRベンチマークで相対的に17%のmAP向上を達成した。
• フレームレベル特徴を用いる場合、TCAはViSiL_fをmAPで上回りながら、推論速度が22倍高速であった。
• TCAの動画レベルバージョン（TCA_c）は、FIVR-200K ISVRで0.570のmAPを達成し、同じタスクで0.702のmAPを示したViSiL_vを上回った。
• t-SNE可視化により、TCAは関連動画のクラスタがよりコンパクトで明確に分離されており、干渉要因の分離性能も優れていることが確認された。
• 注目可視化では、モデルが重要なイベントフレームに注目し、不要な背景フレームや冗長なフレームを抑制していることが示され、意味的文脈のモデリング能力が裏付けられた。