[論文レビュー] Video + CLIP Baseline for Ego4D Long-term Action Anticipation

Srijan Das, Michael S. Ryoo|arXiv (Cornell University)|Jul 1, 2022

Human Pose and Action Recognition被引用数 7

ひとこと要約

本論文は、事前学習されたCLIPモデルとSlowfast動画エンコーダーの特徴を統合することで、Ego4Dデータセットにおける長期行動予測のための動画＋CLIPベースラインを提案する。テキストプロンプトからの時間的文脈を用いて、クロスアテンションを用いてCLIP埋め込みを統合することで、検証セットにおいてZ=20、K=5の条件下で編集距離0.7125（動詞）および0.747（名詞）を達成し、最先端の性能を実現した。

ABSTRACT

In this report, we introduce our adaptation of image-text models for long-term action anticipation. Our Video + CLIP framework makes use of a large-scale pre-trained paired image-text model: CLIP and a video encoder Slowfast network. The CLIP embedding provides fine-grained understanding of objects relevant for an action whereas the slowfast network is responsible for modeling temporal information within a video clip of few frames. We show that the features obtained from both encoders are complementary to each other, thus outperforming the baseline on Ego4D for the task of long-term action anticipation. Our code is available at github.com/srijandas07/clip_baseline_LTA_Ego4d.

研究の動機と目的

• 事前学習済みの画像・テキストモデル（例：CLIP）を活用することで、エゴセントリック動画における長期行動予測を改善すること。
• CLIPがフレームレベルの理解には優れているものの、動詞予測における時間的推論の能力に欠けるという限界を是正すること。
• CLIPの細粒度の視覚的理解とSlowfastの時間的モデリングの相補的統合を検討し、行動予測の性能向上を図ること。
• アテンションベースのCLIP特徴統合が、平均プーリングや単純な特徴連結よりも優れていることを検証すること。

提案手法

• 微調整を行わず、事前学習済みのViT-B/16エンコーダーを用いて、動画クリップの各フレームからCLIP画像埋め込みを抽出する。
• Ego4Dデータセットのトップノウン、動詞、シナリオ、場所のプロンプトテンプレートを用いて、CLIPのテキストエンコーダーによりテキスト埋め込みを生成する。
• テキストプロンプトをクエリとし、画像特徴をキー／バリューとするマルチヘッドクロスアテンション機構を用いて、CLIP画像およびテキスト埋め込みを統合する。
• CLIPのアテンション統合記述子をSlowfastネットワーク特徴（2048 + 512次元）と連結し、クリップレベルの表現を構築する。
• 6層のトランスフォーマー集約モジュールとデコーダーネットワークを用い、Ego4Dのベースラインフレームワークに従って時系列予測を実行する。
• 8台のA5000 GPUを用い、バッチサイズ64、ベース学習率0.0001で30エポック、エンドツーエンドで集約およびデコーダーヘッドを学習する。

実験結果

リサーチクエスチョン

• RQ1 動画固有の時間的エンコーダーと統合することで、事前学習済みのCLIP特徴が長期行動予測を向上させることができるか？
• RQ2 CLIP特徴の時間的集約にアテンションを用いることで、単純な平均プーリングよりも優れた動画レベル表現学習が可能か？
• RQ3 時間的モデリングが欠如しているにもかかわらず、エゴセントリック動画における動詞と名詞の予測においてCLIPはどの程度有効か？
• RQ4 画像特徴にCLIPテキスト特徴を連結することで、画像特徴のみのものよりも追加の利点が得られるか？
• RQ5 ハイブリッドCLIP＋Slowfastアーキテクチャが、元のEgo4Dベースラインを上回る長期行動予測性能を示せるか？

主な発見

• CLIPアテンションバージョンが最良の性能を示し、編集距離は動詞で0.7125、名詞で0.747を達成。元のベースライン（0.745、0.779）を上回った。
• CLIP画像特徴のみのベースライン（L2）は、元のベースラインより性能が悪く、ナーチャルなCLIP特徴は動詞予測における時間的推論能力に欠けていることを示した。
• CLIP画像特徴にテキスト特徴を追加した（L3）が、性能向上を示さなかった。これは、明示的なテキスト特徴連結による相乗効果が見られないことを示唆した。
• CLIPアテンション機構は、テキストプロンプトに応じて関連するフレームを適切に重み付けする能力を学習しており、優れた時間的集約を実現した。
• CLIPとSlowfast特徴の統合により、相補的な情報が得られ、CLIPがフレームレベルの理解を強化し、Slowfastが動きのパターンを捉えた。
• 本手法は、CVPR 2022におけるEgo4Dチャレンジの長期行動予測部門で2位を達成し、テストセットでも有効性が検証された。