[논문 리뷰] ChatGPT for Robotics: Design Principles and Model Abilities

Sai Vemprala, Rogerio Bonatti외 2명|arXiv (Cornell University)|2023. 02. 20.

Topic Modeling인용 수 90

한 줄 요약

이 논문은 자율 로봇 공학을 위한 지각-행동 인과 트랜스포머(PACT)를 연구하며, 실시간 내비게이션 및 행동 예측에 미치는 데이터 수집, 토큰화, 모델 크기 및 시퀀스 길이의 효과를 고찰한다. 모델 용량, 추론 속도, 배치-성능 간의 트레이드오프를 강조한다.

ABSTRACT

This paper presents an experimental study regarding the use of OpenAI's ChatGPT for robotics applications. We outline a strategy that combines design principles for prompt engineering and the creation of a high-level function library which allows ChatGPT to adapt to different robotics tasks, simulators, and form factors. We focus our evaluations on the effectiveness of different prompt engineering techniques and dialog strategies towards the execution of various types of robotics tasks. We explore ChatGPT's ability to use free-form dialog, parse XML tags, and to synthesize code, in addition to the use of task-specific prompting functions and closed-loop reasoning through dialogues. Our study encompasses a range of tasks within the robotics domain, from basic logical, geometrical, and mathematical reasoning all the way to complex domains such as aerial navigation, manipulation, and embodied agents. We show that ChatGPT can be effective at solving several of such tasks, while allowing users to interact with it primarily via natural language instructions. In addition to these studies, we introduce an open-sourced research tool called PromptCraft, which contains a platform where researchers can collaboratively upload and vote on examples of good prompting schemes for robotics applications, as well as a sample robotics simulator with ChatGPT integration, making it easier for users to get started with using ChatGPT for robotics.

연구 동기 및 목표

• 자율 로봇 공학 태스크를 위해 지각-행동 인과 트랜스포머를 사전 학습시킬 수 있는 방법을 이해한다.
• 데이터셋 규모, 모델 깊이, 시퀀스 길이가 내비게이션 정확도와 대기 시간에 미치는 영향을 평가한다.
• 시계열 의존성을 로봇 제어에서 어떻게 모형화하는지 해석하기 위한 어텐션 패턴 분석을 수행한다.
• 로봇 플랫폼에서 다양한 모델 크기에 대한 실시간 배치 가능성에 대한 고려를 평가한다.

제안 방법

• 실제 사무 공간 계획과 Habitat 환경에서 MPC 구동 궤적 라이브러리를 사용한 MuSHR로 지각-행동 데이터를 수집한다.
• RGB용 ResNet-18, 2D LiDAR용 PointNet, 실제 데이터에 BEV LiDAR와 ResNet-18을 결합한 모달리티별 백본으로 센서 모달리티를 토큰화한다.
• 디스크리트 액션을 임베딩과 간단한 MLP를 통해 128-D 토큰으로 생성하도록 매핑한다.
• 램프업 학습률과 가중치 감쇠를 사용하는 트랜스포머(12층, 8헤드, 임베딩 길이 128, 시퀀스 길이 16)로 사전 학습하고, 더 작은 학습률로 미세 조정한다.
• 내비게이션 지표(충돌 전까지 이동한 거리)와 행동 예측 MAE에서 모델 변형(3, 6, 12, 24층)을 평가하고, 어텐션 맵과 시퀀스 길이의 효과를 분석한다.

실험 결과

연구 질문

• RQ1 모델 크기가 로봇 제어의 사전 학습 성능과 실시간 내비게이션 안정성에 어떤 영향을 미치는가?
• RQ2 학습 데이터 규모가 PACT 모델의 행동 예측 및 배치 성능에 미치는 영향은 무엇인가?
• RQ3 시퀀스 길이와 어텐션 패턴이 로봇 작업의 행동 예측 정확도와 해석가능성에 어떤 영향을 미치는가?
• RQ4 실시간 로봇 배치에서 모델 변형 간 추론 시간과 정확도 사이의 트레이드오프는 무엇인가?
• RQ5 다운스트림 Habitat 작업(매핑/로컬라이제이션)이 PACT에서 파생된 고정 표현과 학습 가능한 표현에 어떻게 반응하는가?

주요 결과

• 학습 토큰 수를 늘리는 것이 일반적으로 모델의 사전 학습 성능을 향상시킨다.
• 더 큰 트랜스포머 모델은 추론 지연이 더 커져 실시간 내비게이션을 항상 개선하지는 못한다(예: 24층 모델은 3층 모델보다 느리다).
• 어텐션 맵은 시간 순서 의존성을 보이며 일부 헤드는 시작점이나 상태 변화 지점에 집중하는 경향이 있으며 층에 따라 다르다.
• 더 긴 트랜스포머 시퀀스는 행동 예측 MAE를 감소시키지만 학습 및 배치 지연을 증가시키며, 16-토큰 시퀀스가 유리한 트레이드오프를 제공한다.
• 더 긴 시퀀스가 실전에서 더 나은 행동 예측을 야기하지만, 실시간 제약과의 배치를 균형 있게 고려해야 한다.
• Habitat 하류 작업은 고정 표현과 학습 가능한 표현이 Scratch에서 학습되었는지, 또는 PACT에서 파생되었는지에 대한 시각적 결과를 나타낸다.