[논문 리뷰] Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

Yafei Hu, Quanting Xie외 21명|arXiv (Cornell University)|2023. 12. 14.

Topic Modeling인용 수 25

한 줄 요약

자연어 처리(NLP)와 컴퓨터 비전(CV)의 기반 모델을 로보틱스에 어떻게 적용할 수 있는지에 대한 포괄적 설문과 로보틱스 특화 기반 모델이 어떤 모습일지에 대한 고찰, 그리고 실험 결과에 대한 메타분석.

ABSTRACT

Building general-purpose robots that operate seamlessly in any environment, with any object, and utilizing various skills to complete diverse tasks has been a long-standing goal in Artificial Intelligence. However, as a community, we have been constraining most robotic systems by designing them for specific tasks, training them on specific datasets, and deploying them within specific environments. These systems require extensively-labeled data and task-specific models. When deployed in real-world scenarios, such systems face several generalization issues and struggle to remain robust to distribution shifts. Motivated by the impressive open-set performance and content generation capabilities of web-scale, large-capacity pre-trained models (i.e., foundation models) in research fields such as Natural Language Processing (NLP) and Computer Vision (CV), we devote this survey to exploring (i) how these existing foundation models from NLP and CV can be applied to the field of general-purpose robotics, and also exploring (ii) what a robotics-specific foundation model would look like. We begin by providing a generalized formulation of how foundation models are used in robotics, and the fundamental barriers to making generalist robots universally applicable. Next, we establish a taxonomy to discuss current work exploring ways to leverage existing foundation models for robotics and develop ones catered to robotics. Finally, we discuss key challenges and promising future directions in using foundation models for enabling general-purpose robotic systems. We encourage readers to view our living GitHub repository 2 of resources, including papers reviewed in this survey, as well as related projects and repositories for developing foundation models for robotics.

연구 동기 및 목표

• 보편적이고 범용 로봇에 대한 장벽과 왜 기반 모델이 잠재적 개선을 제공하는지 설명한다.
• 비전 및 언어 기반 모델을 로보틱스에 적용하는 기존 연구와 로봇 공학 특화 기반 모델을 분류한다.
• 로봇 공학 기반 모델 연구에서 사용된 방법론, 실험 및 데이터셋을 평가한다.
• 기반 모델을 활용한 범용 로봇의 도전과제, 한계 및 유망한 향후 방향에 대해 논의한다.

제안 방법

• 로봇 공학의 기반 모델을 비전 기반, 언어 기반, 로봇 공학 특화 모델로 분류하는 분류체계를 제시한다.
• 실세계 로봇공학, 고충실도 시뮬레이터 또는 로봇 데이터셋에 관한 조사 논문의 실험 결과에 대한 메타분석이다.
• 일반화, 데이터 부족, 바인딩(근거 확립) 등 로봇 공학의 도전 과제를 기반 모델이 어떻게 완화하는지 논의한다.
• 실세계 및 시뮬레이션 로봇 맥락에서 사용되는 데이터셋과 벤치마크를 검토한다.
• 향후 연구 방향과 지속적인 업데이트를 위한 살아있는 리소스 링크를 제안한다.

실험 결과

연구 질문

• RQ1 자연어 처리(NLP)와 컴퓨터 비전(CV)의 기반 모델을 어떻게 활용하여 일반화 및 데이터 부족과 같은 핵심 로봇 공학 도전을 해결할 수 있을까?
• RQ2 로봇 공학 특화 기반 모델은 어떤 모습일 것이며 어떻게 학습하고 배포될 수 있을까?
• RQ3 로봇 공학 기반 모델을 평가하는 데 현재 어떤 방법론과 데이터셋이 사용되며 그 한계는 무엇인가?
• RQ4 기반 모델을 통해 범용 로봇을 가능하게 하는 가장 유망한 미래 방향은 무엇인가?

주요 결과

• 기반 모델은 개방 집합 인식, 도메인 간 일반화, 그리고 로봇 공학에서 인지, 계획, 제어 간의 잠재적 통합을 제공한다.
• 로봇 데이터의 부족과 높은 라벨링 비용은 대규모 사전 학습 모델과 도메인 랜덤화를 통한 시뮬레이션 데이터 활용을 촉진한다.
• 기존 VFM/LLMs를 로봇 공학에 적용하는 것과 로봇 공학 특화 기반 모델을 구축하는 것 사이에 개발적 분기가 있다.
• 현재 연구는 주로 의미 인지와 계획에 초점을 맞추고 있으며, 세계 역학 및 기호 추론과 같은 다른 구성요소는 충분히 탐구되지 않았다.
• 실세계 데이터셋과 고충실도 시뮬레이터는 로봇 공학 기반 모델을 평가하는 데 필수적이며, 다양한 형태와 과제의 지속적 필요가 있다.