[논문 리뷰] Video Language Planning

Yilun Du, Mengjiao Yang외 11명|arXiv (Cornell University)|2023. 10. 16.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

비디오 언어 계획(VLP)은 비디오-언어 모델(VLM)을 정책과 가치 함수로 사용하고 텍스트-비디오 모델을 역학 모델로 사용하여 언어 지시사항과 이미지 관측치로부터 장기 시계열, 다중모odal 비디오 계획을 생성하는 트리 탐색 기반 방법이다. 계산 자원 예산에 따라 계획 품질을 확장함으로써 시뮬레이션 및 실제 세계 플랫폼에서 복잡한 로봇 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

We are interested in enabling visual planning for complex long-horizon tasks in the space of generated videos and language, leveraging recent advances in large generative models pretrained on Internet-scale data. To this end, we present video language planning (VLP), an algorithm that consists of a tree search procedure, where we train (i) vision-language models to serve as both policies and value functions, and (ii) text-to-video models as dynamics models. VLP takes as input a long-horizon task instruction and current image observation, and outputs a long video plan that provides detailed multimodal (video and language) specifications that describe how to complete the final task. VLP scales with increasing computation budget where more computation time results in improved video plans, and is able to synthesize long-horizon video plans across different robotics domains: from multi-object rearrangement, to multi-camera bi-arm dexterous manipulation. Generated video plans can be translated into real robot actions via goal-conditioned policies, conditioned on each intermediate frame of the generated video. Experiments show that VLP substantially improves long-horizon task success rates compared to prior methods on both simulated and real robots (across 3 hardware platforms).

연구 동기 및 목표

• 고수준 언어 추론과 저수준 시각 역학 모델링을 융합하여 로봇 분야에서 장기 시계열 시각 계획 문제를 해결한다.
• 대규모 언어 모델(LLM)과 비디오-언어 모델(VLM)이 물리적 현실에 행동을 정착시키고 시간에 따라 추론하는 데 한계가 있음을 극복한다.
• 텍스트-비디오 모델을 활용하여 장기간에 걸쳐 물체의 운동과 역학을 세밀하게 모델링함으로써 더 현실적인 비디오 롤아웃을 가능하게 한다.
• 계산 능력 증가에 따라 계획 품질을 향상시키는 트리 탐색을 사용하여 확장 가능하고 계산 효율적인 계획을 실현한다.
• 추상적인 언어 기반 계획과 구체적인 시각 역학 간 격차를 해소하여 실제 세계 로봇 배포를 위한 정착된 실행 가능한 비디오 계획을 생성한다.

제안 방법

• 현재 이미지와 작업 지시사항으로부터 VLM를 정책으로 사용하여 다수의 후보 다음 단계 텍스트 행동을 생성한다.
• 각 후보 행동에 대해 텍스트-비디오 모델을 역학 모델로 사용하여 미래 비디오 롤아웃을 시뮬레이션하고 잠재적 결과의 이미지 시퀀스를 생성한다.
• 동일한 VLM을 히우리스틱 함수로 사용하여 작업 진행 상황과 시각적 타당성 기반으로 각 비디오 롤아웃의 유리함을 평가한다.
• 앞서서 가장 유망한 롤아웃을 반복적으로 확장함으로써 다중모달(텍스트 및 비디오) 궤적을 유지하는 트리 탐색을 수행한다.
• 탐색 깊이와 분기 수를 늘림으로써 계산 자원 예산 증가에 따라 계획 품질을 향상시켜 장기 시계열 행동 시퀀스의 더 나은 탐색을 가능하게 한다.
• 생성된 비디오의 중간 프레임을 조건으로 하는 목표 조건 정책을 사용하여 최종 비디오 계획을 로봇 행동으로 번역한다.

Figure 1: Video Language Planning uses forward tree search via vision-language models and text-to-video models to construct long-horizon video plans. From an image observation, the VLM policy (top left) generates next-step text actions, which a video model converts into possible future image sequenc

실험 결과

연구 질문

• RQ1 비디오-언어 모델과 텍스트-비디오 모델을 트리 탐색 프레임워크에 효과적으로 융합하여 장기 시계열, 정착된 비디오 계획을 생성할 수 있는가?
• RQ2 기초 모델의 테스트 시 구성이 복잡하고 장기 시계열 로봇 작업에서 계획 품질과 작업 성공률을 향상시키는가?
• RQ3 비디오 모델이 약간의 정확도 오류를 보일지라도, 목표 조건 정책과 결합된 VLP가 생성한 비디오 계획은 실제 로봇에서 신뢰성 있게 실행 가능한가?
• RQ4 이 다중모달 계획 프레임워크에서 계획 품질은 계산 자원 예산 증가에 따라 어떻게 스케일링되는가?
• RQ5 완전하지 않거나 약한 감독을 받는 비디오-언어 데이터를 얼마나 효과적으로 활용하여 계획 파ipeliine을 향상시킬 수 있는가?

주요 결과

• VLP는 이전 방법들과 비교해 세 가지 하드웨어 플랫폼에서 시뮬레이션 및 실제 로봇 환경 모두에서 장기 시계열 작업의 성공률을 크게 향상시켰다.
• 지시사항에서 직접 장기 영상을 생성하도록 훈련된 엔드 투 엔드 모델보다 더 완전하고 일관성 있는 다중모달 계획을 생성한다.
• 계산 자원에 따라 계획 품질이 향상되며, 증가된 탐색 예산은 더 나은 시각 일관성과 작업 진행 상황을 보이는 고품질 비디오 계획을 유도한다.
• 비디오 계획은 더 나은 정착도를 보이며, 일관된 시 cảnh 역학과 물리적으로 비현실적인 사건(예: 물체의 순간 이동)의 빈도를 감소시킨다.
• 목표 조건 정책과 조합되었을 때, VLP가 생성한 비디오 계획은 다중 물체 재배치 및 양손 조작과 같은 복잡한 작업의 성공적 실행을 가능하게 한다.
• 비디오 역학에 일부 오류(예: 갑작스럽게 나타나는 물체)가 있더라도 전체 계획 파이프라인은 실제 배포에서 여전히 견고하고 효과적이다.

Figure 2: Long Horizon Video Plan. Long horizon video plans generated by VLP on both simulated and real images. VLP is only given the initial image and language goal . Language subplans and other image frames are directly synthesized .