[論文レビュー] MH-DETR: Video Moment and Highlight Detection with Cross-modal Transformer

Yifang Xu, Yunzhuo Sun+4 more|arXiv (Cornell University)|Apr 29, 2023

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

MH-DETR は、ビデオモーメント検出とハイライト検出のためのエンドツーエンドのトランスフォーマー基盤モデルを提案する。イントラモodalな文脈を捉えるプーリングベースのトークンミキサーと、特徴のアライメントを強化する即挿し可能（plug-and-play）なクロスモーダル相互作用モジュールを導入している。QVHighlights、Charades-STA、ActivityNet、TVSum といった複数のベンチマークで最先端の性能を達成しており、事前学習を用いずに訓練を開始しても、既存手法と顕著な差を示す。

ABSTRACT

With the increasing demand for video understanding, video moment and highlight detection (MHD) has emerged as a critical research topic. MHD aims to localize all moments and predict clip-wise saliency scores simultaneously. Despite progress made by existing DETR-based methods, we observe that these methods coarsely fuse features from different modalities, which weakens the temporal intra-modal context and results in insufficient cross-modal interaction. To address this issue, we propose MH-DETR (Moment and Highlight Detection Transformer) tailored for MHD. Specifically, we introduce a simple yet efficient pooling operator within the uni-modal encoder to capture global intra-modal context. Moreover, to obtain temporally aligned cross-modal features, we design a plug-and-play cross-modal interaction module between the encoder and decoder, seamlessly integrating visual and textual features. Comprehensive experiments on QVHighlights, Charades-STA, Activity-Net, and TVSum datasets show that MH-DETR outperforms existing state-of-the-art methods, demonstrating its effectiveness and superiority. Our code is available at https://github.com/YoucanBaby/MH-DETR.

研究の動機と目的

• 既存の DETRベースの手法が、粗いクロスモーダル統合と弱いインフラモーダル文脈モデリングという限界を抱えるビデオモーメントおよびハイライト検出（MHD）の問題に対処する。
• エンコーダーとデコーダー間の専用クロスモーダル相互作用モジュールを設計することで、視覚的および言語的モーダル間の時間的整合性と表現学習を向上させる。
• ユニモーダルエンコーダー内での単純で効果的なプーリング演算子を用いて、ユニモーダル特徴内のグローバルな文脈モデリングを強化する。
• 事前学習や非最大抑制（NMS）などの後処理ステップを必要とせず、MHDベンチマークで最先端の性能を達成する。

提案手法

• 効率的かつ効果的なために、標準的な自己注意（self-attention）に代わって、ユニモーダルエンコーダー内にプーリングベースのトークンミキサーを導入し、グローバルなインフラモーダル文脈を捉える。
• エンコーダーとデコーダー間の即挿し可能（plug-and-play）なクロスモーダル相互作用モジュールを設計し、視覚的および言語的特徴の時間的整合された統合を可能にする。
• DETRをインspiredした二本のブランチを持つトランスフォーマー・エンコーダー・デコーダー・アーキテクチャを採用し、モーメントデコーダーは開始時刻と終了時刻を予測し、ハイライトヘッドはクリップ単位の重要度スコアを回帰する。
• 二部マッチングとエンドツーエンドの訓練を採用し、モーメント検索とハイライト検出の両方の損失を共同最適化する。
• 視覚的特徴を言語的特徴でクエリする多頭クロスアテンション機構を適用し、意味的に関連する視覚的内容を強調する。
• 追加の事前学習やデータ拡張を一切用いずに、生の視覚的および言語的特徴のみでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 MHDのためのビデオおよびテキスト表現におけるグローバルなインフラモーダル文脈を、単純なプーリングベースのトークンミキサーが効果的にモデル化できるか？
• RQ2 エンコーダーとデコーダー間の専用クロスモーダル相互作用モジュールが、統合されたモーメントおよびハイライト検出における特徴のアライメントと性能向上に寄与するか？
• RQ3 提案手法 MH-DETR は、QVHighlights、Charades-STA、ActivityNet、TVSum といった複数のMHDベンチマークで、正確性と効率性の観点から最先端手法と比較してどの程度優れているか？
• RQ4 モーメント検索とハイライト検出の損失を同時に最適化することで、全体の性能がどの程度向上するか？
• RQ5 提案手法は、QVHighlights、Charades-STA、ActivityNet、TVSum といった多様なデータセットに対して、どの程度ロバストで汎用的か？

主な発見

• QVHighlights データセットでは、VGG特徴を用いた場合、Moment-DETR よりも R1@0.5 で 1.84% の絶対的向上、R1@0.7 で 1.04% の向上を達成した。
• Charades-STA では、最近のSOTA手法 VISA よりも顕著な差を示し、特に I3D 特徴を用いた場合に強い汎用性を示した。
• TVSum では、全カテゴリで平均トップ5 mAP が 85.6% に達し、SL-Module よりも 8.3 パcent 点高い結果を出した。
• アブレーションスタディの結果、ハイライト損失またはモーメント損失のいずれかを削除すると顕著な性能低下が生じ、共同最適化の重要性が裏付けられた。
• クロスモーダル相互作用モジュールが最も性能向上に寄与しており、QVHighlights では、このモジュールを含むモデルが含まないモデルよりも最大で 3.5% の mAP 向上を達成した。
• パラメータ数を同等にした場合でも、MH-DETR は Moment-DETR-L および MH-DETR-S を上回り、優れたパラメータ効率性を示した。