[論文レビュー] AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

Qi Zhao, Shijie Wang+6 more|arXiv (Cornell University)|Jul 31, 2023

Action Observation and Synchronization被引用数 8

ひとこと要約

AntGPT は大規模言語モデルを活用して長期的な行動予測の目標を推定し、動画からの temporal dynamics をモデル化して長期行動予測を行い、複数のベンチマークで最先端を達成するとともに、圧縮蒸留モデルを可能にします。

ABSTRACT

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT

研究の動機と目的

• ビデオデータからの長期的な行動予測（LTA）のために大規模言語モデル（LLMs）が有用な事前知識をエンコードしているかを調査する。
• LLMs を活用した下向き（時間的ダイナミクス）および上向き（目標条件付き）LTA のフレームワークを探る。
• 観測された行動からコンテキスト内学習と最小 supervisio n で目標が推定できるかを評価する。
• LLMs を蒸留して効率的な LTA 推論のためのコンパクトなニューラルネットへ圧縮できることを示す。

提案手法

• アクション認識器からのノイズの多いアクションラベルの列としてビデオを表現し、LLMs とのインターフェースを確立する。
• 観測されたアクション列から長期的な目標を推定するために LLMs でコンテキスト内学習（ICL）を用いる。
• 観測アクショントークンから未来のアクションを autoregressively または parallely で予測することで、Transformer ベースの時間的モデルによる下向き LTA を実装する。
• LLM が推定した目標に基づいてアクション計画を条件付けすることで、目標条件付きの計画（トップダウン LTA）を実装する。
• 目標条件付けの有無にかかわらず、シーケンス完成を行うように微調整または prompting して LLM を時間的ダイナミクスモデルとして活用する。
• 知識蒸留を apply して LLM が符号化する時間的ダイナミクスをコンパクトな生徒ネットワークに圧縮する（元のサイズの 1.3%）。
• 少数ショット ICL と CoT（チェーン・オブ・思考プロンプト）の目標推定と LTA の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 トップダウンの目標条件付き LTA は下向きのアプローチより優れているか？
• RQ2 最小 supervision の下で ICL によって LLM が有用な目標を推定できるか？
• RQ3 LLMs は行動の時間的ダイナミクスを事前知識として捉え、ビデオと LLM の間の効果的なインターフェースは何か？
• RQ4 LLM ベースの知識を効率的な推論のためのコンパクトモデルへ蒸留できるか？

主な発見

• LLM を用いた目標条件付けは Ego4D、EK-55、EGTEA のベンチマーク全体でトップダウン LTA の性能を向上させ、特に珍しいアクションで効果を示す。
• 観測されたアクションから有用な高レベル目標を推定でき、目標が使用されると LTA の性能が向上する（in-context learning による推定）。
• LLMs はアクションの時間的ダイナミクスをシーケンス完成としてモデル化でき、Few-shot 設定でも競争力のある結果を示す。
• 明示的な目標推定が必須でない設定もあり、LLMs は将来のアクションを予測しつつ暗黙的に目標を推定できる。
• 蒸留された 91M パラメータモデル（7B の 1.3%）は、時間的モデリングの性能で教師モデルと同等かそれを上回る可能性があり、知識蒸留の実用性を確認できる。