[논문 리뷰] RobotGPT: Robot Manipulation Learning from ChatGPT

Yixiang Jin, Dingzhe Li외 6명|arXiv (Cornell University)|2023. 12. 03.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

RobotGPT는 직접 코드 실행의 불안정성을 피하기 위해 ChatGPT의 문제 해결 능력을 활용하여 안정적이고 신뢰할 수 있는 로봇 에이전트를 훈련시키는 프레임워크를 제안한다. 자기 보정 및 평가 기반의 다중 에이전트 프롬프팅 시스템을 통해 RobotGPT는 91.5%의 작업 성공률를 달성하였으며, 이는 ChatGPT를 직접 사용했을 때의 38.5% 성공률에 비해 크게 향상된 것으로, 신뢰성과 실제 적용 가능성에서 뚜렷한 향상을 보였다.

ABSTRACT

We present RobotGPT, an innovative decision framework for robotic manipulation that prioritizes stability and safety. The execution code generated by ChatGPT cannot guarantee the stability and safety of the system. ChatGPT may provide different answers for the same task, leading to unpredictability. This instability prevents the direct integration of ChatGPT into the robot manipulation loop. Although setting the temperature to 0 can generate more consistent outputs, it may cause ChatGPT to lose diversity and creativity. Our objective is to leverage ChatGPT's problem-solving capabilities in robot manipulation and train a reliable agent. The framework includes an effective prompt structure and a robust learning model. Additionally, we introduce a metric for measuring task difficulty to evaluate ChatGPT's performance in robot manipulation. Furthermore, we evaluate RobotGPT in both simulation and real-world environments. Compared to directly using ChatGPT to generate code, our framework significantly improves task success rates, with an average increase from 38.5% to 91.5%. Therefore, training a RobotGPT by utilizing ChatGPT as an expert is a more stable approach compared to directly using ChatGPT as a task planner.

연구 동기 및 목표

• 로봇 조작 시스템에서 ChatGPT가 생성한 코드를 직접 사용할 경우 발생하는 불안정성과 예측 불가능성을 해결한다.
• 실행 결과에 따라 직접 코드를 실행하는 대신 ChatGPT의 계획 출력을 학습하는 전용 에이전트를 훈련시켜 시스템의 신뢰성을 향상시킨다.
• 작업 이해도와 실행 정확도를 향상시키기 위해 자기 보정 및 평가 모듈을 포함한 효과적인 프롬프트 구조를 개발한다.
• 로봇 조작에서 LLM의 성능 한계를 분석하기 위해 작업 복잡도 지표를 도입한다.
• 모의 환경과 실제 환경 모두에서 프레임워크의 효과성을 입증하며, 개방형 작업에도 적용 가능함을 보여준다.

제안 방법

• 세 역할 시스템 설계: 결정 에이전트(코드 생성), 평가 에이전트(세밀하게 튜닝된 모델을 통해 코드 검증), 수정 에이전트(오류 진단 및 수정)
• 실행 루프를 닫는 방식으로, 코드를 라인 단위로 테스트하고 런타임 피드백에 따라 반복적으로 수정하는 프로세스 구현
• 실패 원인을 식별하고 반복적으로 코드를 개선하여 평가를 통과할 수 있도록 하는 자기 보정 메커니즘 도입
• 성공적인 ChatGPT 생성 코드 시퀀스에서 유도된 시범 데이터를 활용해 안정적이고 배포 가능한 에이전트를 훈련시킴
• 실행 단계 수와 성공률를 기반으로 한 작업 복잡도 지표를 통합하여 LLM의 능력이 다양한 작업 복잡도에서 어떻게 작용하는지 평가
• 훈련된 RobotGPT 에이전트를 실제 로봇 환경에 배포하여 일반화 능력과 안정성을 검증함

실험 결과

연구 질문

• RQ1 로봇 조작을 위한 ChatGPT 생성 코드의 안정성과 신뢰성을 향상시키기 위한 프레임워크를 설계할 수 있는가?
• RQ2 ChatGPT 생성 코드를 직접 실행하는 것과 비교해, 이러한 출력을 학습 자료로 활용하는 훈련된 에이전트의 성능은 어떠한가?
• RQ3 어떤 프롬프트 엔지니어링 전략이 LLM이 로봇 작업과 환경을 더 잘 이해하도록 돕는가?
• RQ4 작업 복잡도가 로봇 분야에서 LLM 기반 계획의 성공률에 어느 정도 영향을 미치는가?
• RQ5 LLM 기반 에이전트는 개방형 로봇 작업 수행에서 인간 프로그래머를 능가할 수 있는가?

주요 결과

• RobotGPT는 시뮬레이션 환경에서 91.5%의 작업 성공률를 기록하였으며, 이는 ChatGPT를 직접 사용했을 때의 38.5% 성공률에 비해 뚜렷한 향상이다.
• 정밀도가 낮은 위치 지정 오류로 인한 작업 실패를 줄이기 위해 반복적인 코드 보정 및 검증 기능을 통해 성능 향상을 달성하였다.
• 방 청소나 단어 철자와 같은 개방형 작업에서 RobotGPT는 인간 참가자들을 능가했으며, 인간의 최고 기록인 7글자 단어를 넘어서 9글자 단어('backfield')를 생성하였다.
• AB 테스트에서 수작업 프로그래밍을 한 숙련 프로그래머와 비교해 RobotGPT는 코드 품질(0.762 대비 0.70)이 뛰어나고, 소비 시간도 줄어들어 221.8초 대비 554.9초를 기록하였다.
• 작업 복잡도 지표 분석 결과, 복잡도가 증가할수록 성공률는 감소하는 경향을 보였지만, RobotGPT는 모든 수준의 복잡도에서 높은 성능를 유지하였다.
• 시스템은 실제 로봇 환경에서 성공적으로 배포되어 운영되었으며, 시뮬레이션을 넘어서 실제 적용 가능성도 확인되었다.