[論文レビュー] Multi-modal Prompting for Low-Shot Temporal Action Localization

Chen Ju, Zeqian Li+6 more|arXiv (Cornell University)|Mar 21, 2023

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLM）から得られる詳細なテキスト記述と、RGBおよびオプティカルフロー特徴から導出される視覚的条件付きプロンプトベクトルを活用することで、オープンボックス行動分類を向上させることを目的としたマルチモーダルプロンプティングフレームワークを提案する。視覚、テキスト、運動の3モダリティを共有埋め込み空間に統合することで、最先端の性能を達成し、THUMOS14においてゼロショット設定下でmAPを10%以上向上させた。

ABSTRACT

In this paper, we consider the problem of temporal action localization under low-shot (zero-shot & few-shot) scenario, with the goal of detecting and classifying the action instances from arbitrary categories within some untrimmed videos, even not seen at training time. We adopt a Transformer-based two-stage action localization architecture with class-agnostic action proposal, followed by open-vocabulary classification. We make the following contributions. First, to compensate image-text foundation models with temporal motions, we improve category-agnostic action proposal by explicitly aligning embeddings of optical flows, RGB and texts, which has largely been ignored in existing low-shot methods. Second, to improve open-vocabulary action classification, we construct classifiers with strong discriminative power, i.e., avoid lexical ambiguities. To be specific, we propose to prompt the pre-trained CLIP text encoder either with detailed action descriptions (acquired from large-scale language models), or visually-conditioned instance-specific prompt vectors. Third, we conduct thorough experiments and ablation studies on THUMOS14 and ActivityNet1.3, demonstrating the superior performance of our proposed model, outperforming existing state-of-the-art approaches by one significant margin.

研究の動機と目的

• 『剣術』のようなカテゴリ名が複数の異なる行動を指す可能性があるなど、オープンボックス時空間行動局所化における語義の曖昧さを解消すること。
• 大規模言語モデル（LLM）を用いて属性豊富なテキストプロンプトを生成することで、分類器の識別性能を向上させること。
• RGBおよびオプティカルフロー特徴から学習した視覚的プロンプトベクトルを用いて、新規行動カテゴリに対してインスタンス固有のプロンプティングを可能にすること。
• RGB、オプティカルフロー、テキストの3モダリティの埋め込みを明示的に統合することで、カテゴリに依存しない行動提案を向上させること。
• 未学習カテゴリの学習を必要とせず、標準ベンチマーク上でロバストなゼロショットおよびフェイントショット性能を達成すること。

提案手法

• クラスに依存しない行動提案を実行する2段階のTransformerベースの検出アーキテクチャを採用し、その後にオープンボックス分類を実施する。
• RGBフレーム、オプティカルフロー列、テキスト埋め込みを統合的に共有空間に埋め込むマルチモーダルアライメントヘッドを導入することで、提案品質を向上させる。
• テキストプロンプティングでは、LLMを用いて構造化されたテンプレート（例：「[行動] に必要な道具は何ですか？」）を介して、詳細な属性記述（道具、行動、場面など）を生成する。
• 視覚的条件付きプロンプティングでは、入力動画の視覚的特徴からインスタンス固有のプロンプトベクトルを計算し、CLIPのテキストエンコーダーに組み込む。
• 対照的学習を用いて、動画の提案と対応するテキストプロンプトをアライメントさせるようにモデルを学習し、オプティカルフローを強力な運動信号として活用する。
• アブレーションスタディにより、フローフィードイン、LLMプロンプティング、視覚的条件付きプロンプティングの各要素の寄与度が検証されている。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する属性記述は、オープンボックス行動分類における語義の曖昧さを効果的に解消できるか？
• RQ2 包括的な記述が得にくい状況下で、視覚的特徴を用いた視覚的条件付きプロンプティングは、分類器性能をどのように向上させるか？
• RQ3 RGB、フロー、テキストの3モダリティ統合による埋め込みアライメントは、カテゴリに依存しない行動提案および検出精度をどの程度向上させるか？
• RQ4 THUMOS14やActivityNet1.3のような標準ベンチマーク上で、ゼロショットおよびフェイントショット設定におけるモデルの一般化性能はどの程度か？
• RQ5 オプティカルフローは、低ショット時空間行動局所化における性能向上にどの程度寄与しているか？

主な発見

• 提案手法は、最先端手法と比較して、ゼロショット設定下でTHUMOS14において10%以上のmAP向上を達成した。
• オプティカルフローの導入は、すべての設定で一貫して性能向上をもたらし、ゼロショット状況下でTHUMOS14において10%を超える向上を示した。
• 包括的な記述が生成しにくい状況では、純粋にテキストベースのプロンプティングに比べ、視覚的条件付きプロンプティングが優れた性能を示した。
• LLMが生成する属性記述（道具、行動、場面など）の使用は、語義が曖昧なカテゴリ名の分類器識別性能を顕著に向上させた。
• 新規カテゴリに対して1〜2ショットの例のみを用いても、フェイントショット性能はゼロショットベースラインを著しく上回り、優れたフェイントショット一般化能力を示した。
• 定性的な結果から、モデルは継続時間や行動数に大きなばらつきがある行動をロバストに検出できており、オプティカルフローがRGB単独入力からの検出誤りを是正していることが示された。