[論文レビュー] Zero-Shot Temporal Action Detection via Vision-Language Prompting

Sauradip Nag, Xiatian Zhu+2 more|arXiv (Cornell University)|Jul 17, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文は、学習可能なクラスに依存しない表現マスクモジュールを備えた並列ヘッドを用いて、局所化と分類を分離することで、誤差伝搬を回避し、エンドツーエンド最適化を可能にする、新しいワンステージゼロショット時空間行動検出モデルSTALEを提案する。STALEは、ZS-TADベンチマークで最先端の性能を達成し、先行手法を大きく上回り、標準TADデータセットでも強力な教師ありベースラインを上回る。

ABSTRACT

Existing temporal action detection (TAD) methods rely on large training data including segment-level annotations, limited to recognizing previously seen classes alone during inference. Collecting and annotating a large training set for each class of interest is costly and hence unscalable. Zero-shot TAD (ZS-TAD) resolves this obstacle by enabling a pre-trained model to recognize any unseen action classes. Meanwhile, ZS-TAD is also much more challenging with significantly less investigation. Inspired by the success of zero-shot image classification aided by vision-language (ViL) models such as CLIP, we aim to tackle the more complex TAD task. An intuitive method is to integrate an off-the-shelf proposal detector with CLIP style classification. However, due to the sequential localization (e.g, proposal generation) and classification design, it is prone to localization error propagation. To overcome this problem, in this paper we propose a novel zero-Shot Temporal Action detection model via Vision-LanguagE prompting (STALE). Such a novel design effectively eliminates the dependence between localization and classification by breaking the route for error propagation in-between. We further introduce an interaction mechanism between classification and localization for improved optimization. Extensive experiments on standard ZS-TAD video benchmarks show that our STALE significantly outperforms state-of-the-art alternatives. Besides, our model also yields superior results on supervised TAD over recent strong competitors. The PyTorch implementation of STALE is available at https://github.com/sauradip/STALE.

研究の動機と目的

• 未学習の行動クラスを、それらのクラスに対するラベル付き学習データが一切ない状況で認識できるゼロショット時空間行動検出（ZS-TAD）の課題に対処すること。
• 提案手法の順次処理によるプロポーザル生成と分類の順序による局所化誤差伝搬という、既存の二段階ZS-TAD手法の根本的限界を克服すること。
• CLIPのようなビジョン・ランゲージ（ViL）モデルを活用し、新たなプロンプティングおよび適応メカニズムを用いて、未学習の行動クラスへの効果的なゼロショット転送を可能にすること。
• 視覚的および言語的表現間のクロスモodal整合性を向上させ、低リソース設定下での一般化性能と性能を強化すること。
• 局所化と分類を同時に最適化できる統合的でエンドツーエンド微調整可能なフレームワークを構築し、従来のアプローチで見られる、凍結された局所化ヘッドと分類ヘッドの不整合を回避すること。

提案手法

• 局所化と分類の二つのタスクを分離するため、並列な局所化ヘッドと分類ヘッドを備えたワンステージアーキテクチャを提案し、局所化から分類への誤差伝搬を防止する。
• 学習可能なクラスに依存しない表現マスクモジュールを導入し、動画特徴からフォアグラウンドマスクを生成することで、未学習の行動クラスへのゼロショット一般化を可能にする。
• 自然言語による行動クラスの記述をプロンプトとして用い、事前学習済みの視覚的および言語的エンコーダーを活用することで、CLIP風のビジョン・ランゲージモデルを用いたゼロショット分類を実現する。
• 自己注意機構を用いたトランスフォーマーに基づくフレームワークで、視覚的および言語的特徴間のクロスモダリティの一貫性を強化するためのストリーム間整合性正則化を実装する。
• 行動分類のための意味的文脈をよりよく捉えるために、最大50トークンの学習可能なテキストコンテキストを設計し、固定または短いプロンプトよりも性能を向上させる。
• 位置エンコーディングを備えないマルチヘッドトランスフォーマーを用いて時系列モデリングを実装し、1D-CNN や MS-TCN のベースラインを上回る長距離依存性の捉え方を実現する。

実験結果

リサーチクエスチョン

• RQ1 ワンステージで並列なアーキテクチャを採用することで、ゼロショット環境下における局所化と分類の間の誤差伝搬を解消できるか？
• RQ2 学習可能なクラスに依存しない表現マスクモジュールは、未学習の行動クラスへのゼロショット一般化にどの程度効果的か？
• RQ3 視覚的および言語的特徴間のクロスモダリティ整合性は、ゼロショット時空間行動検出性能をどの程度向上させるか？
• RQ4 可変長の学習可能なテキストコンテキストを用いることで、固定または短いプロンプトよりも分類精度が向上するか？
• RQ5 提案されたSTALEモデルは、ゼロショット設定に加え、完全に教師ありの時空間行動検出設定でも最先端の性能を達成できるか？

主な発見

• STALEは、ActivityNetの75%の既知スプリットにおいて、平均平均精度（mAP）38.2%を達成し、ゼロショット時空間行動検出における先行SOTA手法を大きく上回った。
• アブレーションスタディの結果、テキストエンコーダーのファインチューニングによりmAPが1.3%（36.9%から38.2%）向上した。これは、TADタスクにおけるドメイン適応の重要性を示している。
• トランスフォーマーを用いた時系列モデリングは、同じゼロショット設定下で1D-CNN（29.0%）およびMS-TCN（33.5%）を上回り、mAPが38.2%を達成した。これは、優れた文脈モデリング能力を有することを確認した。
• 視覚から言語へのクロス適応を伴うストリーム間整合性正則化により、mAPが1.4%（23.5%から24.9%）向上し、計算コストの増加は最小限に抑えられた。
• コンテキストトークン数を10から50に増やすと、mAPは36.3%から38.2%に上昇した。これは、より長いコンテキストシーケンスがZS-TADの性能向上に寄与することを示している。
• STALEは教師ありTAD設定でも優れた性能を示し、ActivityNetおよびTHUMOSベンチマークで最近の強力な競合手法を上回った。これは、ゼロショット学習を超えた汎用性の高さを示している。