[논문 리뷰] Robot-Enabled Construction Assembly with Automated Sequence Planning based on ChatGPT: RoboGPT

Hengxu You, Yang Ye외 3명|arXiv (Cornell University)|2023. 04. 21.

Innovations in Concrete and Construction Materials인용 수 5

한 줄 요약

이 논문은 로봇 기반 건설 조립을 위한 자동화되고 적응 가능한 시퀀스 계획을 가능하게 하는 새로운 시스템인 RoboGPT를 소개한다. 대규모 언어 모델의 추론을 로봇 워크플로우에 통합함으로써 RoboGPT는 80회의 실제 실험과 두 개의 사례 연구를 통해 높은 적응성과 성능을 달성했으며, 인간 간섭을 최소화하면서도 복잡하고 동적인 건설 작업을 효과적으로 처리함을 입증했다.

ABSTRACT

Robot-based assembly in construction has emerged as a promising solution to address numerous challenges such as increasing costs, labor shortages, and the demand for safe and efficient construction processes. One of the main obstacles in realizing the full potential of these robotic systems is the need for effective and efficient sequence planning for construction tasks. Current approaches, including mathematical and heuristic techniques or machine learning methods, face limitations in their adaptability and scalability to dynamic construction environments. To expand the ability of the current robot system in sequential understanding, this paper introduces RoboGPT, a novel system that leverages the advanced reasoning capabilities of ChatGPT, a large language model, for automated sequence planning in robot-based assembly applied to construction tasks. The proposed system adapts ChatGPT for construction sequence planning and demonstrate its feasibility and effectiveness through experimental evaluation including Two case studies and 80 trials about real construction tasks. The results show that RoboGPT-driven robots can handle complex construction operations and adapt to changes on the fly. This paper contributes to the ongoing efforts to enhance the capabilities and performance of robot-based assembly systems in the construction industry, and it paves the way for further integration of large language model technologies in the field of construction robotics.

연구 동기 및 목표

• 로봇 기반 건설 조립에서 유연하지도 않고 확장성이 없는 순서 계획 문제를 해결하기 위해.
• ChatGPT와 같은 대규모 언어 모델(Large Language Models, LLMs)을 건설 로봇 기술에 통합하여 추론 능력과 적응성을 향상시키기 위해.
• 맥락적 및 환경적 변화에 기반해 실시간으로 건설 순서를 생성하고 조정할 수 있는 시스템을 개발하기 위해.
• 실제 건설 작업에서 LLM 기반 계획 수립의 타당성과 견고성을 평가하기 위해.
• 건설 자동화에서 AI 추론과 물리적 로봇 실행 간 격차를 메우기 위해.

제안 방법

• 건설 전용 작업에 적합하도록 프롬프트 엔지니어링을 최적화하여 OpenAI의 ChatGPT를 건설 순서 계획을 위한 추론 엔진으로 변형하는 것.
• 구조적 프롬프팅과 작업 분해를 통해 건설 작업의 자연어 기술을 실행 가능한 로봇 동작 순서로 매핑하는 것.
• LLM이 생성한 계획을 추상적 계획에서 운동 명령어로 변환하는 로봇 제어 파이프라인에 통합하는 것.
• 환경 변화나 실행 오류에 대응해 계획을 실시간으로 수정할 수 있도록 피드백 루프를 구현하는 것.
• 실제 건설 작업의 두 사례 연구와 물리적 로봇 조립을 포함한 80회의 실험적 시험을 통해 시스템을 검증하는 것.
• 신뢰성과 해석 가능성을 향상시키기 위해 LLM 추론과 전통적 로봇 계획 방법을 융합한 하이브리드 접근 방식을 사용하는 것.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 대규모 언어 모델이 로봇에 실행 가능한 동시에 논리적으로 타당한 건설 조립 순서를 생성할 수 있는가?
• RQ2 다이나믹한 건설 환경에서 LLM 기반 계획의 성능은 전통적인 히우리스틱 또는 최적화 기반 방법과 비교해 어떻게 다른가?
• RQ3 로봇 조립 도중 예기치 않은 변화가 발생했을 때 시스템이 인간의 재프로그래밍 없이 얼마나 잘 적응할 수 있는가?
• RQ4 LLM이 생성한 계획이 실제 건설 작업에서 얼마나 신뢰할 수 있고 성공률이 높은가?
• RQ5 안전성과 작업 정확성을 확보하기 위해 LLM을 로봇 제어 시스템에 효과적으로 통합하는 방법은 무엇인가?

주요 결과

• Rob오GPT는 두 개의 다른 사례 연구에 걸쳐 80회의 실제 실험에서 유효하고 실행 가능한 건설 순서를 성공적으로 생성했다.
• 예기치 않은 환경 변화나 실행 실패 상황에서도 실시간으로 계획을 수정함으로써 시스템이 높은 적응성을 보였다.
• 실행 중 인간 간섭을 최소화하면서도 높은 작업 완료 성공률를 달성했다.
• ChatGPT 통합 덕분에 기존의 유연성 부족으로 어려움을 겪던 복잡하고 다단계적인 건설 작업을 처리할 수 있었다.
• 결과적으로 LLM이 로봇 건설 계획을 위한 효과적인 추론 엔진으로 기능할 수 있음을 확인했으며, 이는 탄력성과 확장성 향상에 기여했다.
• 맥락 이해력과 재계획 능력 덕분에 시스템은 전통적 계획 방법보다 다이나믹하고 비정형적인 환경에서 뛰어난 성능을 보였다.