[論文レビュー] UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection

Ye Liu, Siyuan Li+4 more|arXiv (Cornell University)|Mar 23, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、テキスト、視覚的、音声的入力を利用して、動画のモーメント検索とハイライト検出を統合的に実行する統合的マルチモodalトランスフォーマー枠組みUMTを提案する。モーメント検索を学習可能なクエリとクロスモーダルアテンションを用いたキーポイント検出問題としてモデル化することで、QVHighlightsで39.85 mAP、TVSumで83.14 mAPを達成し、最先端の性能を発揮する。また、モダリティの変化に柔軟に対応でき、必要に応じて単一タスクに退化可能である。

ABSTRACT

Finding relevant moments and highlights in videos according to natural language queries is a natural and highly valuable common need in the current video content explosion era. Nevertheless, jointly conducting moment retrieval and highlight detection is an emerging research topic, even though its component problems and some related tasks have already been studied for a while. In this paper, we present the first unified framework, named Unified Multi-modal Transformers (UMT), capable of realizing such joint optimization while can also be easily degenerated for solving individual problems. As far as we are aware, this is the first scheme to integrate multi-modal (visual-audio) learning for either joint optimization or the individual moment retrieval task, and tackles moment retrieval as a keypoint detection problem using a novel query generator and query decoder. Extensive comparisons with existing methods and ablation studies on QVHighlights, Charades-STA, YouTube Highlights, and TVSum datasets demonstrate the effectiveness, superiority, and flexibility of the proposed method under various settings. Source code and pre-trained models are available at https://github.com/TencentARC/UMT.

研究の動機と目的

• 動画モーメント検索とハイライト検出は密接に関連しているが、同時に研究される機会が極めて少ないというギャップを解消すること。
• テキスト、視覚的、音声的入力を統合的に扱うことで、モダリティ品質の変動に強い堅牢性と性能を向上させること。
• 特定の入力が欠落または信頼性が低い場合に、個別タスク（例：モーメント検索またはハイライト検出）に容易に退化可能な柔軟なアーキテクチャを設計すること。
• クエリジェネレータとデコーダーを用いて、モーメント検索をキーポイント検出問題としてモデル化することで、境界予測の精度を向上させること。
• マルチタスク共同最適化の有効性と、各損失成分の寄与度を、共同学習の文脈で検証すること。

提案手法

• UMTは、動画と音声のための個別なユニモーダルエンコーダーと、テキストと視覚的・音声的特徴を統合するクロスモーダルエンコーダーを備えた統合的トランスフォーマー・アーキテクチャを採用する。
• モーメント検索のためのテキストガイドドクエリを生成する学習可能なクエリジェネレータを導入し、固定位置エンコーディングに代わって可変長出力シーケンスを可能にする。
• これらの学習済みクエリを用いてクエリデコーダーがキーポイント座標としてモーメント境界を予測し、モーメント検索をキーポイント検出タスクとして扱う。
• テキストのみ、動画のみ、音声のみ、またはマルチモーダルの複数の入力モード組み合わせをサポートし、入力が欠落している場合はエンコーダーの動的非活性化を実装する。
• 境界予測の精度を高めるために、3つの成分からなるマルチタスク損失（中心損失（$\mathcal{L}_c$）、ウィンドウ損失（$\mathcal{L}_w$）、オフセット損失（$\mathcal{L}_o$））を採用する。
• モーメント検索とハイライト検出の両方を一括して最適化することで、タスク間の相関関係を活用し、エンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 変動する入力条件下でも、統合的マルチモーダルトランスフォーマー枠組みが、動画モーメント検索とハイライト検出を効果的かつ柔軟に実行できるか？
• RQ2 テキスト、視覚的、音声的入力を統合したマルチモーダル学習は、単一モーダルまたは制限付き入力のベースラインと比較して、性能をどのように向上させるか？
• RQ3 モーメント検索とハイライト検出のマルチタスク共同最適化は、単一タスク学習に比べて性能向上をもたらすか？
• RQ4 オフセット損失（$\mathcal{L}_o$）は、モーメント境界予測の精度向上にどの程度寄与しているか？
• RQ5 テキストクエリの関連性が高い状況下では、ハイライト検出の性能にどのような影響を与えるか？

主な発見

• UMTは、ハイライト検出のQVHighlights検証スプリットで39.85 mAPを達成し、Moment-DETR や Joint-VA などの先行手法を上回った。
• TVSumデータセットでは、ハイライト検出で83.14 mAPを達成し、明示的なモーメント検索の監視がなくても強力な性能を示した。
• QVHighlightsで共同学習を実施した結果、モーメント検索において60.26% R1@0.5 および 38.59% mAPを達成し、同じ設定下でMoment-DETR より顕著に優れた性能を示した。
• オフセット損失（$\mathcal{L}_o$）の導入により、mAPが37.36%から38.59%に向上し、境界予測の正確性向上に寄与していることが確認された。
• テキストクエリが高関連性（QVHighlights）の場合、ハイライト検出のmAPは33.42%から64.19%に上昇し、クエリの関連性に強く依存することが示された。
• マルチタスク共同最適化により、単一タスク学習に比べてモーメント検索性能が向上し、特にモーメント検索タスクにおいて、Moment-DETR よりも顕著な向上が見られた。