[论文解读] AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

Qi Zhao, Shijie Wang+6 more|arXiv (Cornell University)|Jul 31, 2023

Action Observation and Synchronization被引用 8

一句话总结

AntGPT 利用大型语言模型来推断目标并从视频中建模时序动态以实现长期行动预测，在多个基准上达到SOTA，并实现紧凑的蒸馏模型。

ABSTRACT

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT

研究动机与目标

• 研究大型语言模型（LLMs）是否能够从视频数据中编码有用的先验知识用于长期行动预测（LTA）。
• 探索利用 LLMs 的自下而上（时序动态）和自上而下（目标条件）LTA 框架。
• 评估是否能够通过上下文学习和最小监督从观测行动中推断出目标。
• 证明 LLMs 可以被蒸馏为一个紧凑的神经网络，以实现高效的 LTA 推断。

提出的方法

• 将视频表示为由动作识别器推断的带噪声的动作标签序列，以便与 LLMs 交互。
• 使用上下文学习（ICL）让 LLMs 从观测的动作序列中推断长期目标。
• 通过 Transformer 基时序模型自回归或并行预测来自观测动作令牌的未来动作，实现自下而上的 LTA。
• 通过将动作规划条件化在 LLM 推断的目标之上，实现自上而下的 LTA（目标条件化规划）。
• 探索将 LLM 视为时序动态模型，通过微调或提示执行动作序列完成，无论是否显式目标条件化。
• 应用知识蒸馏将 LLM 编码的时序动态压缩为紧凑的学生网络（原始大小的 1.3%）。
• 评估少样本 ICL 和链式思考提示（CoT）在目标推断和 LTA 中的效果。

实验结果

研究问题

• RQ1 自上而下的目标条件化 LTA 是否优于自下而上的方法？
• RQ2 LLMs 是否能通过最小监督的上下文学习推断出对自上而下 LTA 有用的目标？
• RQ3 LLMs 是否能够捕捉动作的时序动态知识，以及视频与 LLM 之间的有效接口是什么？
• RQ4 将基于 LLM 的知识蒸馏为紧凑模型以实现高效推断是否可行？

主要发现

• 在 Ego4D、EK-55 和 EGTEA 基准上，LLM 指导的目标条件化提升了自上而下的 LTA，尤其对罕见动作有效。
• LLMs 能通过上下文学习从观测动作中推断出有用的高层目标，当将目标用于推断时，LTA 得到改进。
• LLMs 能将动作的时序动态建模为序列完成，在少样本设置中也有竞争力表现。
• 在某些设定中，显式的目标推断并非严格必要，因为 LLMs 可以在预测未来动作的同时隐式推断目标。
• 一个蒸馏后的 91M 参数模型（原始 7B 的 1.3%）在时序建模性能上可媲美或超过全尺寸教师模型，证实了知识蒸馏的可行性。