[논문 리뷰] Vision-Language Foundation Models as Effective Robot Imitators

Xinghang Li, Minghuan Liu외 10명|arXiv (Cornell University)|2023. 11. 02.

Multimodal Machine Learning Applications인용 수 18

한 줄 요약

RoboFlamingo는 OpenFlamingo 백본과 경량 미세조정을 사용하여 시각-언어 모델을 로봇 조작에 적응시키고 CALVIN에서 최첨단 성능을 달성했습니다.

ABSTRACT

Recent progress in vision language foundation models has shown their ability to understand multimodal data and resolve complicated vision language tasks, including robotics manipulation. We seek a straightforward way of making use of existing vision-language models (VLMs) with simple fine-tuning on robotics data. To this end, we derive a simple and novel vision-language manipulation framework, dubbed RoboFlamingo, built upon the open-source VLMs, OpenFlamingo. Unlike prior works, RoboFlamingo utilizes pre-trained VLMs for single-step vision-language comprehension, models sequential history information with an explicit policy head, and is slightly fine-tuned by imitation learning only on language-conditioned manipulation datasets. Such a decomposition provides RoboFlamingo the flexibility for open-loop control and deployment on low-performance platforms. By exceeding the state-of-the-art performance with a large margin on the tested benchmark, we show RoboFlamingo can be an effective and competitive alternative to adapt VLMs to robot control. Our extensive experimental results also reveal several interesting conclusions regarding the behavior of different pre-trained VLMs on manipulation tasks. We believe RoboFlamingo has the potential to be a cost-effective and easy-to-use solution for robotics manipulation, empowering everyone with the ability to fine-tune their own robotics policy.

연구 동기 및 목표

• 비전-언어 기초 모델(VLMs)을 로봇 조작에 활용하여 제어 정책에서 자연어 바인딩 및 비주얼-언어 이해를 가능하게 한다.
• 개방형 루프 또는 저자원 배치를 위한 비전-언어 이해를 의사결정과 분리하는 경량 프레임워크 RoboFlamingo를 제안한다.
• 조작 시演 시범에서 소수의 구성요소를 미세조정하면 CALVIN에서 강력한 성능과 일반화가 얻어진다.

제안 방법

• 각 단계의 시각 및 언어 입력을 결합 임베딩으로 처리하기 위해 Flamingo 기반 OpenFlamingo를 백본으로 사용한다.
• 정책 헤드를 도입하여 행동 결정 모델링 및 필요시 LSTM이나 다른 시퀀스 모델을 통해 이력을 포착한다.
• 나머지 VL 모델은 고정하고 인식자 리샘플러, 디코더의 교차 주의력 및 정책 헤드만 미세조정한다.
• 포즈 회귀(MSE) 및 그리퍼 분류(BCE)를 결합한 모방 학습 목표로 학습한다.
• 각 스텝의 모델 입력은 두 뷰 이미지와 언어 지시문이며, 출력은 7-DoF 엔드이펙터 포즈 및 그리퍼 상태이다.

실험 결과

연구 질문

• RQ1 제한된 조작 시연에서 미세조정된 사전 학습 시각-언어 모델이 로봇 모방학습자로서 효과적으로 작동할 수 있는가?
• RQ2 언어 조건 조작에서 RoboFlamingo의 성능은 제로샷 일반화 및 다양한 VL 모델 구성에서 어떻게 나타나는가?
• RQ3 VL 사전학습, 모델 크기, 그리고 지시 학습이 다운스트림 로봇 공학 과제에 어떤 영향을 미치는가?

주요 결과

• RoboFlamingo는 CALVIN에서 언어 조건 조작에서 모든 기준선보다 우수한 성능을 보였다.
• 제로샷 시각 및 언어 일반화에서 RoboFlamingo가 unseen 객체와 의도 재진술에 강건하게 작동하는 것을 보여준다.
• VL 사전학습 및 미세조정은 다운스트림 로봇 공학 성능을 크게 향상시키며, 더 큰 모델과 지시 학습이 데이터가 제한될 때 특히 이점을 제공한다.
• 역사 의존 정책 헤드(예: LSTM)가 단일 스텝 MLP보다 개선되어 시간적 맥락의 중요성을 강조한다.
• 오픈 루프 제어는 더 빠를 수 있지만 점프 스텝 시연으로 재학습이 필요할 수 있다.
• 언어 주석 데이터의 10%에서도 더 큰 모델이 여전히 우수한 성능을 보이며 지시 학습(IFT)이 개선을 가져온다.