[논문 리뷰] LGMCTS: Language-Guided Monte-Carlo Tree Search for Executable Semantic Object Rearrangement

Haonan Chang, Kai Gao외 6명|arXiv (Cornell University)|2023. 09. 27.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

LGMCTS는 자유형 자연어 지시에서 실행 가능한 의미적 객체 재배치 계획과 자세를 동시에 생성하는 통합 언어 유도 몽테카를로 트리 탐색 프레임워크를 제안한다. 객체 자세를 확률적 분포로 모델링하고 LLM 기반 추론을 MCTS와 통합함으로써, 선 패턴에서 95.99%의 성공률과 타워 및 저녁 식사 패턴에서 완벽한 100% 성공률을 달성하여, 이전의 이중 단계 방법인 StructFormer 및 StructDiffusion보다 계획 및 실행 정확도에서 모두 뛰어난 성능을 보였다.

ABSTRACT

We introduce a novel approach to the executable semantic object rearrangement problem. In this challenge, a robot seeks to create an actionable plan that rearranges objects within a scene according to a pattern dictated by a natural language description. Unlike existing methods such as StructFormer and StructDiffusion, which tackle the issue in two steps by first generating poses and then leveraging a task planner for action plan formulation, our method concurrently addresses pose generation and action planning. We achieve this integration using a Language-Guided Monte-Carlo Tree Search (LGMCTS). Quantitative evaluations are provided on two simulation datasets, and complemented by qualitative tests with a real robot.

연구 동기 및 목표

• 자유형 자연어 기술서에서 충돌이 없고 진정으로 실행 가능한 의미적 객체 재배치 계획을 생성하는 데 도전한다.
• 자세 생성과 동작 계획을 분리하는 이중 단계 접근법의 한계를 극복하여, 실행 불가능하거나 최적화되지 않은 계획이 나오는 문제를 해결한다.
• 단일 재배치 작업 내에서 다수의 의미적 패턴(예: 선, 원, 공간적 배치 등)을 제로샷으로 조합할 수 있도록 한다.
• 복잡한 실제 세계 유사 시나리오에서 실행 가능한 의미적 재배치를 평가하기 위해 특화된 벤치마크인 LGR-Benchmark을 개발한다.
• LLM을 통한 강력한 언어 이해 및 계획 생성을 구현하면서도, 몽테카를로 트리 탐색을 통해 물리적 실행 가능성 보장을 확보한다.

제안 방법

• LGMCTS는 자유형 언어 지시를 해석하고 고정된 목표 위치가 아닌 객체 자세에 대한 확률적 분포를 생성하기 위해 대규모 언어 모델(Large Language Model, LLM)을 사용한다.
• 몽테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 활용해 의미적 제약 조건과 물리적 실행 가능성을 동시에 만족하는 행동 시퀀스를 탐색한다.
• 탐색 과정에서 객체 배치를 LLM 예측 분포에서 도출된 확률적 샘플로 모델링함으로써 다양한 실행 가능한 구성 구성을 탐색할 수 있다.
• 언어 기반 트리 정책이 지시어와의 의미적 일치도 및 기하학적 타당성을 기반으로 노드 확장을 우선순위화함으로써 MCTS를 안내한다.
• 계획기에서는 실행 불가능한 동작를 걸러내기 위해 학습된 충돌 체크 모듈을 통합하여 물리적으로 실행 가능한 계획만 고려한다.
• 시스템은 복잡한 다중 패턴 작업과 실행 불가능한 초기 구성이 포함된 새로운 벤치마크인 LGR-Benchmark을 통해 평가된다.

Figure 1 : Robot Setup. We use a UR5e robot equipped with a RealSense D455 camera.

실험 결과

연구 질문

• RQ1 의도적으로 계획과 자세 생성을 통합한 프레임워크는 이중 단계 방법보다 실행 가능한 의미적 재배치 계획 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ2 LGMCTS는 단일 작업 내에서 다수의 의미적 패턴(예: 선 + 원)을 제로샷으로 조합하는 데 얼마나 잘 일반화되는가?
• RQ3 충돌은 피했지만 실행 불가능한 계획과 비교했을 때, 언어 기반 MCTS는 계획의 실행 가능성에 얼마나 기여하는가?
• RQ4 실제 세계의 개방형 어휘 환경에서 LLM 기반 지시 해석 모듈의 안정성은 어느 정도인가?
• RQ5 복잡한 초기 구성과 가림 현상이 존재하는 상황에서도 LGMCTS는 실제 로봇 실행에서 높은 성공률을 달성할 수 있는가?

주요 결과

• LGMCTS는 시뮬레이션에서 '선' 패턴에서 95.99%의 성공률, '원' 패턴에서 95.25%의 성공률, '타워' 및 '저녁 식사' 패턴에서 각각 100%의 성공률을 기록하여 StructFormer 및 StructDiffusion보다 뚜렷이 뛰어난 성능을 보였다.
• LGR-Benchmark에서 LGMCTS-T는 계획 성공률 97.3%, 실행 성공률 93.4%를 기록했으며 평균 계획 길이가 5.99단계로, 지식 기반 목표 자세가 제공된 PMCTS조차도 뛰어넘는 성능을 보였다.
• LGMCTS-L의 LLM 기반 해석 모듈은 객체 및 패턴 선택 정확도가 89.3%를 기록하여 실제 세계 지시 해석에서 높은 안정성을 입증했다.
• D455 카메라를 탑재한 UR5e 로봇을 사용한 물리적 실험에서 LGMCTS는 촛초가 있는 저녁 식탁 정리와 같은 복잡한 작업을 성공적으로 수행하여 실제 적용 가능성 확인했다.
• LGMCTS는 지식 기반 목표 자세를 가진 PMCTS와 비교해도 열등한 성능를 보이지 않아, 자세와 동작 계획의 통합 모델링이 실행 가능성 향상에 기여한다는 것을 입증했다.
• 스택된 객체와 같은 실행 불가능한 초기 구성도 LGMCTS가 과도한 중간 단계를 피하고 의미적 일관성을 유지하는 계획을 생성함으로써 효과적으로 처리했다.

Figure 2 : Illustration of infeasible start and goal configuration. In this scene, block 2 is in an infeasible start configuration. And the goals of blocks 3 and 2 are infeasible without an excessive number of intermediate steps.