[논문 리뷰] Large Language Models for Robotics: A Survey

Fanlong Zeng, Wensheng Gan외 6명|arXiv (Cornell University)|2023. 11. 13.

Multimodal Machine Learning Applications인용 수 35

한 줄 요약

요약하면 이 설문조사는 제어, 인지, 의사결정, 경로 계획에 걸쳐 로봇공학에 대형 언어 모델이 어떻게 적용되는지 요약하고, embodied intelligence를 향한 모델, 기법, 이점, 도전과제 및 향후 방향을 자세히 설명합니다.

ABSTRACT

The human ability to learn, generalize, and control complex manipulation tasks through multi-modality feedback suggests a unique capability, which we refer to as dexterity intelligence. Understanding and assessing this intelligence is a complex task. Amidst the swift progress and extensive proliferation of large language models (LLMs), their applications in the field of robotics have garnered increasing attention. LLMs possess the ability to process and generate natural language, facilitating efficient interaction and collaboration with robots. Researchers and engineers in the field of robotics have recognized the immense potential of LLMs in enhancing robot intelligence, human-robot interaction, and autonomy. Therefore, this comprehensive review aims to summarize the applications of LLMs in robotics, delving into their impact and contributions to key areas such as robot control, perception, decision-making, and planning. This survey first provides an overview of the background and development of LLMs for robotics, followed by a discussion of their benefits and recent advancements in LLM-based robotic models. It then explores various techniques, employed in perception, decision-making, control, and interaction, as well as cross-module coordination in practical tasks. Finally, we review current applications of LLMs in robotics and outline potential challenges they may face in the near future. Embodied intelligence represents the future of intelligent systems, and LLM-based robotics is one of the most promising yet challenging paths toward achieving it.

연구 동기 및 목표

• 로봇공학을 위한 LLM의 배경과 개발 및 embodied intelligence의 개념을 검토한다.
• LLM 기반 로봇 모델과 응용의 이점 및 최근 발전을 분석한다.
• LLM-활용 로봇의 인지, 의사결정, 제어, 상호작용에서 사용된 기술을 요약한다.
• LLM과 로봗 시스템의 통합에서의 도전과제, 한계점 및 향후 방향을 논의한다.
• 대표적인 LLM-활용 로봇 아키텍처와 플랫폼을 강조한다.

제안 방법

• 로봇공학에 관련된 기본 LLM 개념과 역사를 설명한다.
• LLMs를 통합하는 로봇 모델(예: PaLM-SayCan, PaLM-E, LM-Nav, Expedition A1)을 조사한다.
• Transformer 기반의 로봇 아키텍처(RT-1, RT-2, RT-X, Control Transformer)와 그 역할을 설명한다.
• LLMs를 활용하는 인지, 의사결정, 제어 및 상호작용 기술(VLM, VNM, VLN, VLA)을 개요한다.
• LLM 기반 로봇공학의 실용적 고려사항(다중모달 입력, 계획 수립, 안전성)을 논의한다.
• 로봇의 embodied intelligence를 향한 잠재적 응용 및 향후 방향을 요약한다.

실험 결과

연구 질문

• RQ1 LLMs가 로봇의 인지 핵심(뇌)으로 작용하여 지시를 이해하고 현실 세계에서 행동할 수 있도록 하는 방법은 무엇인가?
• RQ2 인지, 의사결정, 제어, 상호작용 전반에서 로봇공학에 LLM을 사용하는 주요 이점과 한계는 무엇인가?
• RQ3 효과적인 로봇공학을 가능하게 하는 Transformer 기반 아키텍처는 무엇이며, 작업 간 일반화는 어떻게 이뤄지는가?
• RQ4 계산 자원, 안전, 일관성, 표준화 등 LLM 기반 로봇공학을 배치할 때 어떤 도전과제가 있으며 이를 어떻게 해결할 수 있는가?
• RQ5 LLM-활용 로봇공학을 통한 embodied intelligence의 사회적 영향은 무엇인가?

주요 결과

• LLMs는 로봇공학에서 자연어 상호작용, 유연한 작업 수행, 개인화된 사용자 경험을 가능하게 한다.
• PaLM-E, PaLM-SayCan, LM-Nav, 그리고 Expedition A1은 언어와 인지, 내비게이션, 제어 간의 다리를 놓는 사례를 보여준다.
• Transformer 기반 로봇 아키텍처(RT-1, RT-2, RT-X, CT)는 계획, 제어 및 비전-언어 통합을 발전시킨다.
• VLM/VNM/VLA와 같은 새로운 개념은 로봇의 엔드 투 엔드 인지 및 행동 파이프라인을 가능하게 한다.
• 도전과제로는 상당한 계산 자원, 콘텐츠 안전성, 다회 차 대화 및 표준 로봇 형태의 부재가 있다.
• 이 설문은 embodied intelligence로의 경로를 제시하고 점차 강력해지는 로봇 시스템의 사회적 함의에 대해 논의한다.