[論文レビュー] Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

Xiang Fang, Daizong Liu+2 more|arXiv (Cornell University)|Sep 23, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本論文は、ソースドメインには完全なアノテーションが存在するがターゲットドメインはアノテーションなしのクロスドメイン設定における動画モーメント検出のためのマルチモーダルクロスドメインアライメント（MMCDA）ネットワークを提案する。3つの新規モジュールを通じて、ドメイン不変性、マルチモーダル、フレームクエリアライメントの表現を同時に学習することにより、MMCDAは最先端の性能を達成し、ActivityNet Captions、Charades-STA、TACoSベンチマークのキーケースにおいて、単一ドメイン手法を7%以上上回る性能を発揮する。

ABSTRACT

As an increasingly popular task in multimedia information retrieval, video moment retrieval (VMR) aims to localize the target moment from an untrimmed video according to a given language query. Most previous methods depend heavily on numerous manual annotations (i.e., moment boundaries), which are extremely expensive to acquire in practice. In addition, due to the domain gap between different datasets, directly applying these pre-trained models to an unseen domain leads to a significant performance drop. In this paper, we focus on a novel task: cross-domain VMR, where fully-annotated datasets are available in one domain (``source domain''), but the domain of interest (``target domain'') only contains unannotated datasets. As far as we know, we present the first study on cross-domain VMR. To address this new task, we propose a novel Multi-Modal Cross-Domain Alignment (MMCDA) network to transfer the annotation knowledge from the source domain to the target domain. However, due to the domain discrepancy between the source and target domains and the semantic gap between videos and queries, directly applying trained models to the target domain generally leads to a performance drop. To solve this problem, we develop three novel modules: (i) a domain alignment module is designed to align the feature distributions between different domains of each modality; (ii) a cross-modal alignment module aims to map both video and query features into a joint embedding space and to align the feature distributions between different modalities in the target domain; (iii) a specific alignment module tries to obtain the fine-grained similarity between a specific frame and the given query for optimal localization. By jointly training these three modules, our MMCDA can learn domain-invariant and semantic-aligned cross-modal representations.

研究の動機と目的

• 手動アノテーションが欠落しているリソースが限られたターゲットドメインにおける動画モーメント検出の課題に対処すること。
• ソースデータセットとターゲットデータセットの間のドメインギャップ、および動画と言語モダリティの間の意味的ギャップによって引き起こされる性能低下を軽減すること。
• ターゲットドメインで手動ラベリングを一切行わず、完全にアノテーション済みのソースドメインから効果的な知識転移を可能にすること。
• ドメイン間、モダリティ間、および特定のクエリ-動画相互作用の特徴を統合的にアライメントするフレームワークを構築すること。

提案手法

• ドメインアライメント、クロスモーダルアライメント、および特定アライメントの3つのコアモジュールを備えたマルチモーダルクロスドメインアライメント（MMCDA）ネットワークを提案する。
• 敵対的学習を用いて、各モダリティにおけるソースドメインとターゲットドメインの分布差を低減するドメインアライメントモジュールを採用する。
• 動画とクエリの特徴を共有埋め込み空間にマップし、ターゲットドメインにおける両者の分布をアライメントするクロスモーダルアライメントモジュールを導入する。
• 個々の動画フレームとクエリの間の微細な類似度を計算することで、正確な境界検出を実現する特定アライメントモジュールを設計する。
• 事前学習損失と3つのアライメント損失を組み合わせたマルチタスク学習目的関数を用いて、すべてのモジュールを同時に最適化する。
• T-SNE可視化と正則化損失関数を活用して、トレーニング中のドメインギャップ低減を分析およびモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 完全にアノテーション済みのソースドメインで学習したモデルは、完全にアノテーションなしのターゲットドメインに対しても、動画モーメント検出において知識を効果的に転送できるか？
• RQ2 ソースとターゲットデータセット間のドメイン差を効果的に低減することで、クロスドメイン一般化性能を向上させられるか？
• RQ3 未学習のターゲットドメインにおいて、動画と言語の間のクロスモーダル意味的ギャップをどの程度埋め合わせられるか？
• RQ4 微細なフレーム-クエリアライメントを組み込むことで、リソースが限られた環境下での局所化精度が向上するか？

主な発見

• MMCDAは、最先端の単一ドメイン手法と比較して、代表的なクロスドメイン転送タスクにおいて7%以上の性能向上を達成する。
• A→CおよびC→Aの転送タスクにおいて、最良のベースライン（CRMA）をすべての指標で2.23%、3.92%、1.41%、2.09%上回る。
• ActivityNet CaptionsとCharades-STAデータセット間のドメインギャップは顕著に低減され、効果的なドメインアライメントのおかげで10〜12エポック以内に収束する。
• 可視化結果から、各アライメントモジュールを適用した後、クロスモーダル特徴のクラスタリングがより緊密になっていることが確認され、意味的アライメントの向上が裏付けられる。
• アブレーションスタディの結果、ドメインアライメント、クロスモーダルアライメント、特定アライメントの3つのモジュールすべてが性能向上に顕著な寄与をしていることが確認され、特に特定アライメントモジュールが最も顕著な改善をもたらしている。
• TACoSをソースドメインとして使用した場合、アノテーションが疎であるため性能向上は限定的であるが、TACoSがターゲットドメインである場合には依然として効果的に一般化している。