[論文レビュー] Few-shot Action Recognition with Captioning Foundation Models

Xiang Wang, Shiwei Zhang+5 more|arXiv (Cornell University)|Oct 16, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、事前学習済みのキャプション生成基盤モデル（BLIP）を活用して動画のテキスト記述を自動生成することで、手動のアノテーションなしにマルチモーダル知識を効果的に活用できる、少数ショット行動認識のためのプラグアンドプレイフレームワーク、CapFSARを提案する。視覚的特徴と合成テキスト特徴をTransformerベースの視覚的・テキスト的統合モジュールで統合することで、複数のベンチマークで最先端の性能を達成し、視覚のみのベースラインよりも1ショット精度で最大3.4%の向上を達成した。

ABSTRACT

Transferring vision-language knowledge from pretrained multimodal foundation models to various downstream tasks is a promising direction. However, most current few-shot action recognition methods are still limited to a single visual modality input due to the high cost of annotating additional textual descriptions. In this paper, we develop an effective plug-and-play framework called CapFSAR to exploit the knowledge of multimodal models without manually annotating text. To be specific, we first utilize a captioning foundation model (i.e., BLIP) to extract visual features and automatically generate associated captions for input videos. Then, we apply a text encoder to the synthetic captions to obtain representative text embeddings. Finally, a visual-text aggregation module based on Transformer is further designed to incorporate cross-modal spatio-temporal complementary information for reliable few-shot matching. In this way, CapFSAR can benefit from powerful multimodal knowledge of pretrained foundation models, yielding more comprehensive classification in the low-shot regime. Extensive experiments on multiple standard few-shot benchmarks demonstrate that the proposed CapFSAR performs favorably against existing methods and achieves state-of-the-art performance. The code will be made publicly available.

研究の動機と目的

• 少数ショット行動認識におけるラベル付きデータの制限という課題に、基盤モデルからのマルチモーダル知識を活用することで対処すること。
• 動画データセットに対する手動のテキストアノテーションの高コストおよび非現実性を克服すること。
• 動画の高品質なキャプションを自動生成するプラグアンドプレイフレームワークを開発し、視覚的表現学習を向上させること。
• 合成テキスト記述の有効性が、少数ショット行動認識の性能向上に与える影響を調査すること。
• 視覚言語基盤モデルからのマルチモーダル知識が、低リソースな行動認識タスクに効果的に転送可能であることを示すこと。

提案手法

• 入力動画クリップから特徴を抽出するために、BLIPの視覚エンコーダーを用いる。
• 各動画入力に対して自然言語の記述（合成キャプション）を生成するために、BLIPのキャプションデコーダーを用いる。
• 生成されたキャプションを文脈的なテキスト埋め込みに変換するために、テキストエンコーダー（例：DeBERTa や CLIP）を適用する。
• 視覚的特徴とテキスト的特徴の間のクロスモーダルな時空間的相互作用をモデル化するため、Transformerベースの視覚的・テキスト的統合モジュールを導入する。
• 学習されたアテンションメカニズムを通じてマルチモーダル表現を統合し、時間的認識能力と分類のロバスト性を向上させる。
• 少数ショット分類のためのメタ学習パラダイムに基づくメトリックに基づくエンドツーエンドのフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 視覚言語基盤モデルから自動生成されたキャプションが、少数ショット行動認識の性能向上に寄与するか？
• RQ2 合成テキスト記述と視覚的特徴の統合は、低ショット学習の状況でどの程度有効か？
• RQ3 異なるテキストエンコーダーの性能にどのような影響を与えるか？
• RQ4 生成されたキャプションの品質が、最終的な分類精度に与える影響は何か？
• RQ5 提案されたフレームワークは、アクションの複雑さや視覚的特徴が異なる多様なベンチマークに一般化可能か？

主な発見

• CapFSARは、Kinetics や SSv2-Full を含む5つの標準的な少数ショット行動認識ベンチマークで最先端の性能を達成した。
• Kinetics データセットでは、視覚のみのベースライン OTAM† よりも1ショット精度が3.4ポイント向上し、85.8%（82.4%）を達成した。
• 動きに偏った SSv2-Full データセットでは DeBERTa をテキストエンコーダーとして使用した場合が最良の性能を示したが、外観に偏った Kinetics データセットでは CLIP が最良の性能を示した。
• より大きなキャプション生成モデルと、より多くの事前学習データを用いることで、より高品質なキャプションが得られ、下流の認識精度も向上した。
• 定性的な分析では、生成されたキャプションに「押している車（pushing car）」のように、キーワードとなる動作動詞や物体（例："car"）が頻繁に含まれており、モデルが判別に重要な領域に注目するのを助けた。
• 失敗事例の主な原因は、視覚的な曖昧性（例：メロンをボールと誤認）に起因する不正確なキャプション生成であり、キャプション品質に依存していることが示された。