[논문 리뷰] AntGPT: Can Large Language Models Help Long-term Action Anticipation from Videos?

Qi Zhao, Shijie Wang외 6명|arXiv (Cornell University)|2023. 07. 31.

Action Observation and Synchronization인용 수 8

한 줄 요약

AntGPT는 대형 언어 모델을 활용하여 비디오로부터 목표를 추론하고 시간적 역학을 모델링하여 장기 행동 예측을 수행하며, 여러 벤치마크에서 최첨단 성과를 달성하고 컴팩트한 증류 모델을 가능하게 한다.

ABSTRACT

Can we better anticipate an actor's future actions (e.g. mix eggs) by knowing what commonly happens after his/her current action (e.g. crack eggs)? What if we also know the longer-term goal of the actor (e.g. making egg fried rice)? The long-term action anticipation (LTA) task aims to predict an actor's future behavior from video observations in the form of verb and noun sequences, and it is crucial for human-machine interaction. We propose to formulate the LTA task from two perspectives: a bottom-up approach that predicts the next actions autoregressively by modeling temporal dynamics; and a top-down approach that infers the goal of the actor and plans the needed procedure to accomplish the goal. We hypothesize that large language models (LLMs), which have been pretrained on procedure text data (e.g. recipes, how-tos), have the potential to help LTA from both perspectives. It can help provide the prior knowledge on the possible next actions, and infer the goal given the observed part of a procedure, respectively. To leverage the LLMs, we propose a two-stage framework, AntGPT. It first recognizes the actions already performed in the observed videos and then asks an LLM to predict the future actions via conditioned generation, or to infer the goal and plan the whole procedure by chain-of-thought prompting. Empirical results on the Ego4D LTA v1 and v2 benchmarks, EPIC-Kitchens-55, as well as EGTEA GAZE+ demonstrate the effectiveness of our proposed approach. AntGPT achieves state-of-the-art performance on all above benchmarks, and can successfully infer the goal and thus perform goal-conditioned "counterfactual" prediction via qualitative analysis. Code and model will be released at https://brown-palm.github.io/AntGPT

연구 동기 및 목표

• 대형 언어 모델(LLM)이 비디오 데이터로부터의 장기 행동 예측(LTA)에 유용한 선험 지식을 인코딩하는지 조사한다.
• LLM을 활용한 하향식(시간적 역학) 및 상향식(목표 조건화) LTA 프레임워크를 탐구한다.
• 관찰된 행동으로부터 목표를 인-컨텍스트 학습과 최소 감독으로 추론할 수 있는지 평가한다.
• LLM을 증류하여 효율적인 LTA 추론을 위한 소형 신경망으로 만들 수 있음을 보여준다.

제안 방법

• 비디오를 LLM과의 인터페이스를 위해 액션 인식기로부터 얻은 노이즈가 섞인 액션 레이블 시퀀스로 표현한다.
• 관찰된 액션 시퀀스로부터 장기 목표를 추론하기 위해 LLM과 함께 인-컨텍스트 학습(ICL)을 사용한다.
• 관찰된 액션 토큰으로부터 미래 액션을 자동회귀적으로(autoregressively) 또는 병렬적으로 예측하여 Transformer 기반의 시간적 모델로 하향식 LTA를 구현한다.
• LLM이 추론한 목표에 조건화된 목표지향적 계획(goal-conditioned planning)에 따라 행동 계획을 조건화하여 상향식 LTA를 구현한다.
• 목표 조건화를 명시적으로 하든 하지 않든, 시퀀스 완성을 수행하도록 미세조정이나 프롬프트를 통해 시간적 역학 모델로서의 LLM을 탐구한다.
• 지식 증류를 적용하여 LLM에 인코딩된 시간적 역학을 소형 학생 네트워크로 압축한다(원래 크기의 1.3%).
• 목표 추론 및 LTA를 위한 소수 샷 ICL과 체인 오브 사고(CoT) 프롬프트를 평가한다.

실험 결과

연구 질문

• RQ1 상향식(목표-조건화가 아닌) LTA가 하향식 접근법보다 우수한가?
• RQ2 인-컨텍스트 학습을 활용하여 최소 감독으로 상향식 LTA를 위한 유용한 목표를 LLM이 추론할 수 있는가?
• RQ3 LLM이 행동의 시간적 역학에 대한 선험적 지식을 포착하는가, 그리고 비디오와 LLM 간의 효과적인 인터페이스는 무엇인가?
• RQ4 LLM 기반 지식을 효율적 추론을 위한 소형 모델로 증류할 수 있는가?

주요 결과

• LLM이 정보로 제공하는 목표 조건화는 Ego4D, EK-55, EGTEA 벤치마크 전반에 걸쳐 상향식 LTA의 성능을 향상시키며 특히 희귀한 행동에 대해 더 큰 효과를 보인다.
• LLMs는 관찰된 행동으로부터 유용한 고수준의 목표를 인-컨텍스트 학습을 통해 추론할 수 있으며, 목표를 사용할 때 LTA 성능이 향상된다.
• LLMs는 시퀀스 완성으로서의 행동의 시간적 역학을 모델링할 수 있으며 소수 샷 설정에서도 경쟁력 있는 결과를 보인다.
• 일부 설정에서는 명시적 목표 추론이 필수적이지 않으며, LLM은 미래 행동을 예측하는 동시에 암묵적으로 목표를 추론할 수 있다.
• 지식 증류를 통해 91M 매개변수의 증류 모델(7B의 1.3%)이 시간 모델링 성능에서 전체 교사와 대등하거나 더 우수한 성능을 보이며 지식 증류의 가능성을 확인한다.