[論文レビュー] MDMMT-2: Multidomain Multimodal Transformer for Video Retrieval, One More Step Towards Generalization

Alexander Kunitsyn, Maksim Kalashnikov+2 more|arXiv (Cornell University)|Mar 14, 2022

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本論文は、弱教師あり、テキスト-画像、テキスト-動画データセットを統合し、3段階の訓練手順、二重位置エンコーディング、事前学習済みCLIPおよび動画バックボーンモデルを用いた効率的な転移学習により、MSR-VTT、LSMDC、MSVD、YouCook2、TGIFの5つの多様なテキスト-動画検索ベンチマークで最先端の性能を達成する、統合型のマルチモーダルトランスフォーマーモデルMDMMT-2を提案する。

ABSTRACT

In this work we present a new State-of-The-Art on the text-to-video retrieval task on MSR-VTT, LSMDC, MSVD, YouCook2 and TGIF obtained by a single model. Three different data sources are combined: weakly-supervised videos, crowd-labeled text-image pairs and text-video pairs. A careful analysis of available pre-trained networks helps to choose the best prior-knowledge ones. We introduce three-stage training procedure that provides high transfer knowledge efficiency and allows to use noisy datasets during training without prior knowledge degradation. Additionally, double positional encoding is used for better fusion of different modalities and a simple method for non-square inputs processing is suggested.

研究の動機と目的

• ドメイン固有の微調整なしに、多様なドメインで良好に動作する汎用的なテキスト-動画検索モデルの開発。
• トレーニング中に弱教師あり、テキスト-画像、テキスト-動画データセットを統合することで、モデルの一般化性能の向上。
• ノイズが多く多様なデータソースで訓練する際の過学習および知識の劣化を防止。
• 二重位置エンコーディングと非正方形の動画入力を効果的に処理することで、クロスマodal融合の向上。
• 単一の統合モデルアーキテクチャを用いて、複数のベンチマークで最先端の結果を達成すること。

提案手法

• 弱教師あり動画（HT100M）、クラウドラベル付きテキスト-画像ペア、テキスト-動画ペアの3つのデータソースを統合し、トレーニングデータの多様性と規模を拡大。
• 事前学習済みバックボーンの微調整を回避する3段階の訓練手順を採用し、一般化能力を保持し、ドメイン固有の過学習を防ぐ。
• トランスフォーマーエンコーダー内で視覚的、運動的、音声的、テキスト的モダリティの表現をよりよく一致・統合するために、二重位置エンコーディングを導入。
• 実証的分析に基づき、最適なパフォーマンスを得るために、CLIPおよびirCSN152-IG65Mを事前学習済み視覚的およびテキストエンコーダーとして選定。
• アーキテクチャの変更なしに、さまざまなアスペクト比に強く対応する非正方形の動画入力処理の簡単で効果的な手法を適用。
• 対照的学習に対称的な交差エントロピー損失とコサイン類似度を用い、クロスマodalマッチングを実現し、未学習のクエリに対するゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の適応なしに、複数の多様なテキスト-動画検索ベンチマークで最先端の性能を達成できる統合型モデルは存在するか？
• RQ2 弱教師あり、テキスト-画像、テキスト-動画データセットを統合することで、ゼロショット検索におけるモデルの一般化性能とパフォーマンスはどのように向上するか？
• RQ3 事前学習済みバックボーンの微調整なしに3段階の訓練手順を採用することで、知識の劣化は防げ、転移効率は向上するか？
• RQ4 二重位置エンコーディングは、マルチモーダル動画検索におけるクロスマodal統合をどの程度向上させるか？
• RQ5 多様なデータソースで訓練された1つのモデルは、個々のベンチマークで特化されたモデルを上回ることができるか？

主な発見

• MSR-VTTでは、R@1: 33.4±0.1、R@5: 60.1±0.1、R@10: 70.5±0.1、MnR: 39.2±0.2、MdR: 3.0±0.0という新たなSOTAを達成。
• LSMDCでは、R@1: 26.9±0.6、R@5: 46.7±0.5、R@10: 55.9±0.4、MnR: 48.0±0.5、MdR: 6.7±0.5を達成し、CLIP4Clip や CAMoE よりも優れた性能を示した。
• MSVDでは、R@1: 56.8±0.2、R@5: 83.1±0.2、R@10: 89.2±0.1、MnR: 8.8±0.0、MdR: 1.0±0.0を達成し、CLIP2Video や QB-Norm+CLIP2Video より顕著に優れた性能を示した。
• YouCook2では、R@1: 32.0±0.7、R@5: 64.0±0.3、R@10: 74.8±0.2、MnR: 12.7±0.3、MdR: 3.0±0.0を達成し、UniVL や TACo を上回った。
• TGIFでは、R@1: 25.5±0.1、R@5: 46.1±0.0、R@10: 55.7±0.1、MnR: 94.1±0.3、MdR: 7.0±0.0を達成し、短く多様な動画クリップにおいて強力なパフォーマンスを示した。
• モデルはドメインをまたいで効果的に一般化し、1回のトレーニングで5つのベンチマークすべてでSOTAを達成した。これにより、マルチソースデータと3段階の訓練戦略の有効性が裏付けられた。