[論文レビュー] Multimodal Open-Vocabulary Video Classification via Pre-Trained Vision and Language Models

Rui Qian, Yeqing Li+4 more|arXiv (Cornell University)|Jul 15, 2022

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本稿では、視覚言語モデル（VLM）を拡張して動画、光流、音声スペクトログラムを共同で処理することで、マルチモーダルなオープンボキャラリー動画分類手法MOVを提案する。クロスアテンションによるモダリティ統合により、Kinetics-700、VGGSound、UCF、HMDBベンチマークで最先端の性能を達成し、ベースクラスおよび新規クラスの両方で精度を顕著に向上させ、特に新規クラスの性能をベースラインのVLMよりも最大3.5%向上させる。

ABSTRACT

Utilizing vision and language models (VLMs) pre-trained on large-scale image-text pairs is becoming a promising paradigm for open-vocabulary visual recognition. In this work, we extend this paradigm by leveraging motion and audio that naturally exist in video. We present extbf{MOV}, a simple yet effective method for extbf{M}ultimodal extbf{O}pen- extbf{V}ocabulary video classification. In MOV, we directly use the vision encoder from pre-trained VLMs with minimal modifications to encode video, optical flow and audio spectrogram. We design a cross-modal fusion mechanism to aggregate complimentary multimodal information. Experiments on Kinetics-700 and VGGSound show that introducing flow or audio modality brings large performance gains over the pre-trained VLM and existing methods. Specifically, MOV greatly improves the accuracy on base classes, while generalizes better on novel classes. MOV achieves state-of-the-art results on UCF and HMDB zero-shot video classification benchmarks, significantly outperforming both traditional zero-shot methods and recent methods based on VLMs. Code and models will be released.

研究の動機と目的

• トレーニング中に観測されなかった新規クラスを認識できるようにするオープンボキャラリー動画分類の課題に対処すること。
• 動画のみのモデルを超えて、動き（光流）と音声信号を組み込むことで一般化性能が向上するかを調査すること。
• 完全な再トレーニングを伴わずに、複数のモダリティに適応可能な事前学習済み視覚エンコーダーを効果的に活用するシンプルで効果的な手法を開発すること。
• ベースクラスの精度を維持しつつ、新規クラスにおけるゼロショット一般化性能を向上させること。

提案手法

• CLIPなどの事前学習済みVLMの視覚エンコーダーを最小限の変更で、動画、光流、音声スペクトログラムを処理できるように拡張する。
• 異なるモダリティ間の補完的情報を統合するために、クロスアテンションによる統合機構を用い、共同表現学習を可能にする。
• マルチモーダル入力（動画、フロー、音声）を用いてベースクラスで視覚エンコーダーをファインチューニングするが、言語エンコーダーは固定する。
• すべてのモダリティに同一のViT-B/16アーキテクチャを採用し、初期化を同一にすることで、入力間で一貫した特徴学習を実現する。
• スコア統合とクロスアテンション統合の手法を比較するため、マルチモーダル統合技術を検証する。
• ベースクラスでエンドツーエンド学習を行い、推論時に新規クラスにおけるゼロショット一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みVLMに光流と音声を組み込むことで、新規動画クラスへのゼロショット一般化性能が向上するか？
• RQ2 スコア統合と比較して、クロスアテンションによるマルチモーダル統合は、オープンボキャラリー動画分類においてどのように性能を発揮するか？
• RQ3 事前学習済みVLMの統一された視覚エンコーダーが、動画、フロー、音声といった多様なモダリティを効果的に処理できるか？
• RQ4 視覚エンコーダーの異なる層をフローおよび音声入力でファインチューニングすることが、性能に与える影響は何か？
• RQ5 個々のモダリティ（動画、フロー、音声）は、各クラスの性能向上または低下にどのように寄与するか？

主な発見

• MOVは、クロスアテンション統合を用いてKinetics-700でベースクラスで75.3%、新規クラスで30.4%の精度を達成し、動画のみのCLIPよりもそれぞれ2.6%および3.5%高い。
• VGGSoundでは、クロスアテンション統合によりベースクラスで68.4%、新規クラスで24.8%の精度を達成し、動画のみのCLIPよりもそれぞれ0.7%および2.0%高い。
• 視覚エンコーダーの全12層をファインチューニングすると最良の性能が得られ、VGGSoundの音声分類において、1層目のみの30.5%から全層の59.5%まで精度が向上した。
• 音声モダリティは、視覚的に類似した動作（例：笑う人と鼻をかむ）の区別を顕著に改善するが、動き（フロー）は、あくびや走り高跳びといった動的動作の認識を強化する。
• クロスアテンション統合はスコア統合を常に上回り、Kinetics-700では新規クラスで+3.5%、VGGSoundでは+2.0%の向上を達成した。
• MOVはUCFおよびHMDBのゼロショット動画分類ベンチマークで、従来のゼロショット手法および最近のVLMベース手法を上回る新たな最先端の結果を達成した。