[論文レビュー] MA-FSAR: Multimodal Adaptation of CLIP for Few-Shot Action Recognition

Jiazheng Xing, Xu, Chao+6 more|arXiv (Cornell University)|Aug 3, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

本論文では、軽量なマルチモーダルアダプタとテキストガイドドプロトタイプ構築モジュールを導入することで、CLIPのパrameter効率的な微調整手法であるMA-CLIPを提案する。CLIPのバックボーンを固定し、18.54Mパラメータのみを微調整することで、15%の性能向上を達成し、単モodalベースラインより10%の向上を示し、トレーニング時間とメモリ使用量を80%以上削減した。

ABSTRACT

Applying large-scale vision-language pre-trained models like CLIP to few-shot action recognition (FSAR) can significantly enhance both performance and efficiency. While several studies have recognized this advantage, most of them resort to full-parameter fine-tuning to make CLIP's visual encoder adapt to the FSAR data, which not only costs high computations but also overlooks the potential of the visual encoder to engage in temporal modeling and focus on targeted semantics directly. To tackle these issues, we introduce MA-FSAR, a framework that employs the Parameter-Efficient Fine-Tuning (PEFT) technique to enhance the CLIP visual encoder in terms of action-related temporal and semantic representations. Our solution involves a Fine-grained Multimodal Adaptation, which is different from the previous attempts of PEFT in regular action recognition. Specifically, we first insert a Global Temporal Adaptation that only receives the class token to capture global motion cues efficiently. Then these outputs integrate with visual tokens to enhance local temporal dynamics by a Local Multimodal Adaptation, which incorporates text features unique to the FSAR support set branch to highlight fine-grained semantics related to actions. In addition to these token-level designs, we propose a prototype-level text-guided construction module to further enrich the temporal and semantic characteristics of video prototypes. Extensive experiments demonstrate our superior performance in various tasks using minor trainable parameters.

研究の動機と目的

• 限られたラベル付き動画データと高い計算コストという課題に取り組む。
• CLIPのような事前学習済み画像モデルが動画の追加的時間次元をモデル化する際の限界を克服する。
• 過学習を防ぎ、タスク間での高速かつ効率的な転移学習を可能にするために、トレーニング可能なパラメータ数を最小限に抑える。
• マルチモーダルな動画-テキスト情報を利用し、時空間表現とプロトタイプ学習を強化する。
• さまざまな時間的アライメントメトリクスと互換性がある、プラグアンドプレイ型フレームワークを構築する。

提案手法

• CLIPの画像およびテキストエンコーダーを固定し、動画-テキストマルチモーダル統合用の軽量アダプタを追加することで、パrameter効率的な微調整（PEFT）を適用する。
• 注意メカニズムを用いてテキスト的文脈を強化することで、動画プロトタイプ表現を向上させるテキストガイドドプロトタイプ構築モジュールを設計する。
• アダプタをCLIPの視覚ストリームに統合し、モデルの一般化能力を維持したまま、タスク固有の時空間モデリングを可能にする。
• 動画およびテキスト特徴を共同で処理するマルチモーダルアダプタを用いて、時間的モデリングと特徴のアライメントを向上させる。
• OTAM や TRX などの、少数ショット行動認識メトリクスと任意に統合可能な、プラグアンドプレイ型の設計を実装する。
• 主なCLIP重みを固定し、微調整可能なパラメータ数を最小限（18.54M）に抑え、過学習とトレーニングコストの低減を実現する。

Figure 1: Performance comparison of different few-shot action recognition methods under the 5-way 1-shot settings on the SSv2-Small dataset, including our MA-CLIP , OTAM [ 3 ] , TRX [ 33 ] , STRM [ 38 ] , HyRSM [ 46 ] , and CLIP-FSAR [ 44 ] . Bubble or star size indicates the recognition accuracy. O

実験結果

リサーチクエスチョン

• RQ1 パrameter効率的なCLIPの適応により、トレーニング可能なパラメータ数を最小限に抑えながら、少数ショット行動認識の性能を向上させることができるか？
• RQ2 低データ環境下において、マルチモーダルな動画-テキスト情報が時空間表現をどれほど効果的に強化できるか？
• RQ3 テキストガイドドプロトタイプ構築機構は、少数ショット設定における動画プロトタイプ学習をどの程度改善するか？
• RQ4 完全微調整や既存のベースラインと比較して、MA-CLIPはトレーニングコストとメモリ使用量をどの程度削減できるか？
• RQ5 アーキテクチャの変更なしに、MA-CLIPはさまざまな時間的アライメントメトリクスに一般化可能か？

主な発見

• SSv2-SmallおよびKineticsデータセットの両方で、ImageNetで事前学習された単モダルモデルより最低15%の精度向上を達成し、CLIPで事前学習された単モダナルモデルより10%の向上を示した。
• 5ウェイ1ショット設定において、CLIP-FSARや他のベースラインを上回り、微調整可能なパラメータ数が最も少ないにもかかわらず、最高の認識精度を達成した。
• トレーニング可能なパラメータ数を18.54M（完全微調整の1/5）に削減し、1枚のRTX 3090でメモリ使用量を1.6GB、トレーニング時間を0.4時間削減した。
• アテンション可視化の結果、MA-CLIPは行動関連のオブジェクトに注目し、背景への注目を低減していることが確認され、時空間局在化の向上が示された。
• ImageNetベースラインが要請するタスク数の4分の1のデータ量での学習でも、SSv2-Smallで15%の高い精度を達成した。これは、優れたデータ効率性を示している。
• プラグアンドプレイ設計により、MA-CLIPはさまざまな時間的アライメントメトリクスとシームレスに統合可能であり、異なる設定でも強力な性能を維持した。

Figure 2: Overview of MA-CLIP . We will focus on a specific scenario for simplicity and convenience: the 5-way 1-shot problem and the query set $\mathcal{Q}$ with a single video. The support set video features $\textbf{F}_{\mathcal{S}}$ and query video feature $\textbf{F}_{\mathcal{Q}}$ are obtained