[論文レビュー] LGDN: Language-Guided Denoising Network for Video-Language Modeling

Haoyu Lu, Mingyu Ding+3 more|arXiv (Cornell University)|Sep 23, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、言語監視のもとでノイズが多いまたは関係のない動画フレームを動的にフィルタリングし、1動画あたり2–4枚の顕著なフレームに限定することで、正確なトークンレベルのクロスモーダルアライメントを実現する言語誘導型ノイズ除去ネットワークLGDNを提案する。SFP（顕著フレーム提案）機構とモーメンタムベースの対照的学習、トークンに配慮したアテンションを統合することで、計算コストを著しく削減しながらも、5つの動画・言語ベンチマークで最先端の性能を達成した。

ABSTRACT

Video-language modeling has attracted much attention with the rapid growth of web videos. Most existing methods assume that the video frames and text description are semantically correlated, and focus on video-language modeling at video level. However, this hypothesis often fails for two reasons: (1) With the rich semantics of video contents, it is difficult to cover all frames with a single video-level description; (2) A raw video typically has noisy/meaningless information (e.g., scenery shot, transition or teaser). Although a number of recent works deploy attention mechanism to alleviate this problem, the irrelevant/noisy information still makes it very difficult to address. To overcome such challenge, we thus propose an efficient and effective model, termed Language-Guided Denoising Network (LGDN), for video-language modeling. Different from most existing methods that utilize all extracted video frames, LGDN dynamically filters out the misaligned or redundant frames under the language supervision and obtains only 2--4 salient frames per video for cross-modal token-level alignment. Extensive experiments on five public datasets show that our LGDN outperforms the state-of-the-arts by large margins. We also provide detailed ablation study to reveal the critical importance of solving the noise issue, in hope of inspiring future video-language work.

研究の動機と目的

• 動画・言語モデリングにおけるノイズが多くずれが生じるフレームの課題に対処し、クロスモーダルアライメントを損なわないようにする。
• 密なフレームサンプリングやスパースなフレームサンプリングの限界を乗り越え、言語監視のもとで意味的に関連するフレームのみを動的に特定する。
• 顕著なフレームに注目することで計算負荷を軽減しながら、効果的なトークンレベルのクロスモーダルアライメントを実現する。
• フレームレベルと動画レベルの対照的学習を言語誘導型フィルタリングと統合した新規フレームワークにより、動画・言語モデリングの性能を向上させる。
• 不要なフレームを除外することで、モデルサイズを増大させずに顕著な性能向上が達成されることを示す。

提案手法

• 1動画あたり2–4枚の顕著なフレームを特定するため、4つの言語監視戦略を用いてフレームレベルの関連スコアを推定する顕著フレーム提案（SFP）機構を提案する。
• モーメンタムエンコーダーを用いたフレームレベルの複数顕著インスタンス学習と対照的学習（MFCL）モジュールを導入し、フレームレベルの表現学習を強化する。
• モーメンタム更新を用いて動画レベルの表現学習を安定化させるため、モーメンタム動画レベル対照的学習（MVCL）モジュールを提案する。
• トークンに配慮したクロスアテンションを備えた言語誘導型顕著フレームマッチング（LSFM）モジュールを用い、細粒度なトークンレベルのクロスモーダルアライメントを実現する。
• 均等なフレームサンプリングの後に言語誘導型フィルタリングを実行する2段階のサンプリング戦略を組み合わせたSFP機構を採用する。
• 複数の関連スコア推定器（例：SimDot、Momentum、CrossMom、Collaborative）を活用し、テキストと動画の整合性に基づいてフレーム選択を最適化する。

実験結果

リサーチクエスチョン

• RQ1 言語監視を用いることで、ノイズが多いまたは関係のない動画フレームを効果的に特定・除外でき、動画・言語モデリングの性能が向上するか？
• RQ2 1動画あたり2–4枚の顕著なフレームに限定することで、すべてのフレームやスパースにサンプリングされたフレームよりも性能が向上するか？
• RQ3 フレームレベルおよび動画レベルでモーメンタムベースの対照的学習を統合することで、ノイズの多いデータ環境下でも表現学習がどのように向上するか？
• RQ4 提案されたSFP機構は、スパース、ランダム、均等なサンプリング戦略など、さまざまなフレームサンプリング戦略に一般化できるか？
• RQ5 提案フレームワークは、モデル容量を拡大せずに最先端の性能を達成できるか？

主な発見

• LGDNは5つの公開動画・言語データセットで最先端の手法を上回り、MSR-VTT 1kAでは181.1 R@SUMを達成し、以前のSOTAモデルを上回った。
• SFP機構は、スパース、ランダム、均等なサンプリング戦略を問わず、性能向上を著しく実現しており、汎用性が確認された。
• MomentumとCrossMomを統合したCollaborative関連スコア推定器が最良の性能を示し、モーメンタムベースの推定がフレーム関連性予測を向上させることを示唆した。
• 融合層を搭載しないLGDN（global）でも164.6 R@SUMを達成し、180Mパラメータを持つFrozen in Timeを上回った。これは、性能向上がモデルサイズに起因するものではないことを示している。
• 可視化により、SFP機構が誤ってノイズの多いフレーム（例：トランジション、関連のないシーン）を正しく特定・除外し、意味的に整合するフレームを保持していることが確認された。
• アブレーションスタディでは、SFPとランダムサンプリングの間で顕著な性能差が確認され、動的フレームフィルタリングが動画・言語モデリングにおけるノイズ低減にいかに重要であるかが証明された。