[論文レビュー] End-to-end Multi-modal Video Temporal Grounding

Yiwen Chen, Yi‐Hsuan Tsai+1 more|arXiv (Cornell University)|Jul 12, 2021

Multimodal Machine Learning ApplicationsComputer Science参考文献 34被引用数 21

ひとこと要約

本稿では、RGB、光-flow、深度特徴を協調的自己注意Transformerを用いた動的相互モダリティ統合と自己教師付き対照的学習による内部モダリティ表現強化を組み合わせた、エンドツーエンドのマルチモーダルフレームワークDRFTを提案する。本手法は、外見、動き、構造からの補完的視覚的手がかりを活用することで、Charades-STAおよびActivityNet Captionsで最先端の性能を達成した。

ABSTRACT

We address the problem of text-guided video temporal grounding, which aims to identify the time interval of a certain event based on a natural language description. Different from most existing methods that only consider RGB images as visual features, we propose a multi-modal framework to extract complementary information from videos. Specifically, we adopt RGB images for appearance, optical flow for motion, and depth maps for image structure. While RGB images provide abundant visual cues of certain events, the performance may be affected by background clutters. Therefore, we use optical flow to focus on large motion and depth maps to infer the scene configuration when the action is related to objects recognizable with their shapes. To integrate the three modalities more effectively and enable inter-modal learning, we design a dynamic fusion scheme with transformers to model the interactions between modalities. Furthermore, we apply intra-modal self-supervised learning to enhance feature representations across videos for each modality, which also facilitates multi-modal learning. We conduct extensive experiments on the Charades-STA and ActivityNet Captions datasets, and show that the proposed method performs favorably against state-of-the-art approaches.

研究の動機と目的

• RGB特徴に依存する単一モダリティの動画時刻接地手法の限界、特に複雑またはごみだらけの背景においての問題を解決すること。
• 外見（RGB）による外見、光-flowによる動き、深度によるシーン構造からの補完的視覚的手がかりを統合することで、時刻接地の精度を向上させること。
• 入力に応じたモダリティの重要度に適応する動的統合メカニズムにより、効果的な相互モダリティ特徴学習を可能にすること。
• 各モダリティ内で自己教師付き対照的学習を適用することで、背景や文脈に関係なく同じ行動を示す動画クリップ間で特徴の一貫性を高め、特徴のロバスト性を向上させること。

提案手法

• DRFTフレームワークは、外見を表すRGB画像、動きを表す光-flow、構造的文脈を表す深度マップの3つの視覚的モダリティを統合する。
• 協調的自己注意トランスフォーマーモジュールは、入力コンテンツに基づいてクロスアテンション相互作用をモデル化することで、モダリティ間の動的特徴統合を実現する。
• 相互モダリティ統合メカニズムは、モダリティ固有のアテンション重みを学習し、クエリに応じて関連する手がかり（例：高運動の行動では光-flow、構造的行動では深度）を強調できる。
• 内部モダリティの自己教師付き対照的学習は、各モダリティに対して独立して適用され、同じ行動を示す動画クリップ間の特徴の一貫性を向上させる。
• モデルは、クエリで指定されたイベントの開始時刻と終了時刻を回帰する時刻接地損失を用いてエンドツーエンドで訓練される。
• フレームワークはCharades-STAおよびActivityNet Captionsで評価され、各コンponentの寄与を検証するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 RGB、光-flow、深度という補完的視覚的モダリティは、RGB単体を使用する場合と比較して、どのように動画時刻接地を改善するか？
• RQ2 動的でアテンションベースの統合メカニズムは、マルチモーダル動画時刻接地における相互モダリティ特徴学習をどの程度向上させるか？
• RQ3 各モダリティ内で自己教師付き対照的学習を適用することで、特徴表現が向上し、マルチモーダル性能が向上するか？
• RQ4 『小さな動き』や『強い構造的特徴』を示す行動（例：『笑む』）に対して、RGB、光-flow、深度のうちどのモダリティが最も寄与しているか？
• RQ5 Charades-STAやActivityNet Captionsといった標準ベンチマークにおいて、DRFTフレームワークは最先端手法と比較してどのように差をつけるか？

主な発見

• RGB、光-flow、深度の3ストリームDRFTモデルは、Charades-STAおよびActivityNet Captionsの両方で単一モダリティベースラインを上回り、マルチモーダル統合の有効性を示した。
• 対照的学習を適用した単一ストリームDRFTモデルは、非対照的対象と比較して顕著に性能向上を示し、内部モダリティの自己教師付き学習の利点を確認した。
• 『笑む』のような小さな動きを伴う行動では、融合メカニズムにおける高いアテンション重みから、RGB特徴が最も寄与していることが示された。
• 『ドアを閉める』や『ピローカラスを投げる』のような高運動の行動では、光-flowが統合プロセスで支配的となり、光-flow特徴に最も高いアテンション重みが割り当てられた。
• 『ベッドに座る』や『机の上で作業する』のような構造依存の行動では、深度マップが最も寄与し、深度条件付き特徴に最も高いアテンション重みが割り当てられた。
• アブレーションスタディにより、相互モダリティ統合と内部モダリティ対照的学習の両コンponentが最先端性能を達成するために不可欠であることが確認された。