[논문 리뷰] ChatGPT Empowered Long-Step Robot Control in Various Environments: A Case Application

Naoki Wake, Atsushi Kanehira외 3명|arXiv (Cornell University)|2023. 04. 08.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 논문은 환경적 맥락을 처리하고 토큰 수 제한 문제를 완화하면서 자연어 지시로부터 실행 가능한 다단계 로봇 동작 계획을 생성할 수 있도록 OpenAI의 ChatGPT를 활용하는 few-shot 프롬프팅 프레임워크를 제안한다. 환경 상태 추정치를 대화 단계 간에 재사용하고 자연어 피드백을 지원함으로써, 첫 번째 시도에서 36%의 계획이 정확하고 실행 가능해졌으며, 피드백을 통해 거의 100%까지 향상되었고, 로봇 응용 분야에 적합한 오픈소스이자 커스터마이징 가능한 프롬프트를 제공한다.

ABSTRACT

This paper demonstrates how OpenAI's ChatGPT can be used in a few-shot setting to convert natural language instructions into a sequence of executable robot actions. The paper proposes easy-to-customize input prompts for ChatGPT that meet common requirements in practical applications, such as easy integration with robot execution systems and applicability to various environments while minimizing the impact of ChatGPT's token limit. The prompts encourage ChatGPT to output a sequence of predefined robot actions, represent the operating environment in a formalized style, and infer the updated state of the operating environment. Experiments confirmed that the proposed prompts enable ChatGPT to act according to requirements in various environments, and users can adjust ChatGPT's output with natural language feedback for safe and robust operation. The proposed prompts and source code are open-source and publicly available at https://github.com/microsoft/ChatGPT-Robot-Manipulation-Prompts

연구 동기 및 목표

• 대규모 언어 모델인 ChatGPT와 같은 모델을 활용해 실용적이고, few-shot이며, 자연어에서 로봇 동작으로의 작업 계획을 가능하게 하기 위해.
• 로봇 실행 시스템과 시각 인식 파이프라인에 원활하게 통합될 수 있도록 프롬프트를 설계하기 위해.
• 계획 단계 간에 환경 상태 기술어를 재사용하여 토큰 수 제한의 영향을 최소화하기 위해.
• 인간이 참여하는 피드백 루프를 통해 안정적이고 안전한 작업 계획을 가능하게 하기 위해 자연어 피드백을 지원하기 위해.
• 로봇 공학 연구 분야에서 널리 쓰일 수 있도록 오픈소스이자 커스터마이징 가능한 프롬프트 템플릿을 제공하기 위해.

제안 방법

• ChatGPT에게 작업 계획자 역할을 맡기도록 프롬프트를 설계하여, 로봇 동작을 구조화되고 JSON 파싱이 가능한 형식으로 정의하기 위해.
• 행동 이전 및 이후의 환경 상태 표현(예: 물체의 위치 등)을 명시적으로 통합하여 맥락을 유지하기 위해.
• 작업 후 환경 기술어를 다음 계획 단계의 입력으로 재사용하여 프롬프트 길이를 최소화하고 상태 추적의 필요성을 제거하기 위해.
• 행동 시퀀스와 환경 업데이트를 동시에 출력하도록 프롬프트를 구성하여 반복적인 개선을 가능하게 하기 위해.
• ChatGPT의 few-shot 학습 및 대화 기능을 활용하여 다양한 지시 표현 방식과 사용자 피드백에 적응할 수 있도록 하기 위해.
• 데이터 기밀 보장 및 보안 기준 준수를 위해 Azure OpenAI를 통해 배포하기 위해.

실험 결과

연구 질문

• RQ1 ChatGPT는 다양한 가정 환경에서 자연어 지시로부터 실행 가능한 다단계 로봇 동작 계획을 생성할 수 있는가?
• RQ2 장기적 계획 수행 시 토큰 수 제한의 영향을 줄이기 위해 제안된 프롬프팅 전략은 얼마나 효과적인가?
• RQ3 자연어 피드백은 계획의 정확성과 실행 가능성에 얼마나 기여하는가?
• RQ4 동일한 프롬프트 템플릿은 재학습 없이도 다양한 로봇 환경에 효과적으로 적용될 수 있는가?
• RQ5 지시어의 표현 방식이 다양하더라도 일관된 계획 품질을 유지할 수 있는가?

주요 결과

• VirtualHome 평가에서 36%의 작업 계획이 첫 번째 시도에서 정확하고 실행 가능했으며, 몇 차례의 자연어 피드백을 거친 후에는 거의 100%까지 향상되었다.
• 다양한 가정 환경에서 다단계 작업에 대해 유효한 동작 순서를 성공적으로 생성했으며, 선반, 냉장고, 서랍 앞에서의 조작도 포함되었다.
• 지시어 표현 방식의 다양성에 대해 강건하게 대응하여, 의미적으로 유사하지만 표현 방식이 다른 입력에서도 일관된 성능을 유지했다.
• 계획 단계 간에 환경 상태 기술어를 재사용함으로써 프롬프트 길이를 크게 줄였고, 전체 대화 기록을 저장할 필요가 없어졌다.
• 대화형 인터페이스를 통해 효과적인 인간-중심의 피드백 루프를 실현하였으며, 사용자는 자연어로 계획을 수정하거나 조정할 수 있었다.
• 제안된 프롬프트는 오픈소스로 공개되어 있으며, 로봇 공학 커뮤니티에서 재사용 가능하고 커스터마이징 가능한 자원을 제공한다.