[論文レビュー] M2-CLIP: A Multimodal, Multi-task Adapting Framework for Video Action Recognition

Mengmeng Wang, Jiazheng Xing+7 more|arXiv (Cornell University)|Jan 22, 2024

Human Pose and Action Recognition被引用数 4

ひとこと要約

M2-CLIP は、視覚的およびテキスト的アダプタとマルチタスクデコーダーを導入することで、CLIP を拡張するマルチモーダルでマルチタスクな適応フレームワークを提案する。これにより、最小限の可学習パラメータで最先端のゼロショット性能を達成し、UCF101 および HMDB51 で先行手法を上回る性能を発揮するとともに、Vita-CLIP よりも 41% のパラメータで実現した。

ABSTRACT

Recently, the rise of large-scale vision-language pretrained models like CLIP, coupled with the technology of Parameter-Efficient FineTuning (PEFT), has captured substantial attraction in video action recognition. Nevertheless, prevailing approaches tend to prioritize strong supervised performance at the expense of compromising the models' generalization capabilities during transfer. In this paper, we introduce a novel Multimodal, Multi-task CLIP adapting framework named ame to address these challenges, preserving both high supervised performance and robust transferability. Firstly, to enhance the individual modality architectures, we introduce multimodal adapters to both the visual and text branches. Specifically, we design a novel visual TED-Adapter, that performs global Temporal Enhancement and local temporal Difference modeling to improve the temporal representation capabilities of the visual encoder. Moreover, we adopt text encoder adapters to strengthen the learning of semantic label information. Secondly, we design a multi-task decoder with a rich set of supervisory signals to adeptly satisfy the need for strong supervised performance and generalization within a multimodal framework. Experimental results validate the efficacy of our approach, demonstrating exceptional performance in supervised learning while maintaining strong generalization in zero-shot scenarios.

研究の動機と目的

• CLIP をベースにした動画行動認識における、教師あり性能とゼロショット一般化性能のトレードオフを解消すること。
• 新しいアダプタアーキテクチャを用いて視覚エンコーダーを強化することで、動画表現における時間的モデリングを向上させること。
• 専用のテキストブランチアダプタを用いて、行動ラベルのためのテキスト特徴学習を強化すること。
• マルチタスクデコーダーを用いて複数の監視信号を統合し、精度と耐性を向上させること。
• 最小限の微調整パラメータで高い性能を達成し、CLIP の一般化能力を保持すること。

提案手法

• 動画表現学習を向上させるために、グローバルな時間的強化とローカルな時間的差分モデリングを実行する視覚的 TED-アダプタを導入する。
• 軽量なテキストアダプタを CLIP のテキストエンコーダーに適用し、行動ラベルからの意味情報をよりよく捉える。
• 4 つの構成要素（対照学習ヘッド、クロスモodal分類ヘッド、クロスモダルマスクド言語モデリングヘッド、視覚特徴分類器）を持つマルチタスクデコーダーを設計する。
• 元の CLIP バックボーンを凍結し、アダプターやデコーダーヘッドのみを微調整することで、パラメータ効率の良い微調整を実現する。
• 対照学習、クロスモダル分類、マスクド言語モデリング、視覚分類を統合的な目的関数として用い、特徴の整合性と識別性を向上させる。
• プラグアンドプレイ型のモジュラ設計を採用し、既存の CLIP ベースの動画認識フレームワークへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルでマルチタスクな適応フレームワークは、CLIP のゼロショット一般化能力を維持しつつ、動画行動認識で強力な教師あり性能を達成できるか？
• RQ2 専用の視覚アダプター（TED-アダプタ）は、動画シーケンスにおけるグローバルおよびローカルな時間的ダイナミクスをどれほど効果的にモデリングできるか？
• RQ3 固定された CLIP バックボーンにおいて、テキストアダプターを追加することで、行動ラベルのための判別的特徴学習にどのような影響を与えるか？
• RQ4 マルチタスクデコーダーに複数の監視信号を統合することで、性能向上と特徴の分離性にどの程度寄与するか？
• RQ5 パラメータ効率の良いマルチモーダル適応フレームワークは、完全微調整法やプロンプトベース手法を上回る性能をゼロショットおよび教師あり設定の両方で発揮できるか？

主な発見

• M2-CLIP は、全 CLIP モデルのパラメータの 0.4% のみを用いて、教師あり学習で Kinetics-400 で 83.4% の精度を達成した。
• UCF101 では、94.1% のゼロショット精度を達成し、Vita-CLIP を含むすべての先行手法を上回った。Vita-CLIP よりも 2.4 倍のパラメータを多く使用している。
• HMDB51 では、68.5% のゼロショット精度を達成し、大多数のベースラインを上回り、最高性能を示した手法と同等の性能を発揮したが、その可学習パラメータはその 41% にとどまった。
• アブレーションスタディの結果、マルチタスクデコーダーが顕著な貢献を示しており、視覚特徴分類器ヘッドを追加することで、対照学習ヘッドのみの場合に比べて 0.7% の性能向上が得られた。
• 時間的強化と差分モデリングの両方を備えた TED-アダプタが最良の性能を発揮し、片方のコンポonentのみを用いたバリアントを上回った。
• テキストアダプターを 1 つ追加すると最適な性能が得られ、アダプターを増やすと過学習が生じ、教師ありおよびゼロショットの両ベンチマークで性能が低下した。