[논문 리뷰] Extended Tree Search for Robot Task and Motion Planning

Tianyu Ren, Georgia Chalvatzaki외 1명|arXiv (Cornell University)|2021. 03. 09.

Robotic Path Planning Algorithms참고 문헌 25인용 수 11

한 줄 요약

이 논문은 대규모 상징적 공간과 고차원 운동 공간을 다루기 위해 확장된 결정 트리 위에서 상위-k 기반의 기호적 계획과 몬테카를로 트리 탐색(MCTS)을 결합한 새로운 통합 작업 및 운동 계획 프레임워크인 eTAMP을 제안한다. 다양한 스켈레톤 계획을 생성하고 MCTS를 통해 운동 파라미터를 최적 선택 및 바인딩함으로써, 실현 불가능한 작업 동작을 포함한 복잡하고 장기적인 조작 작업에서 뛰어난 성능을 달성하며, 재그라스핑 및 다체적 해체와 같은 어려운 도메인에서 Adaptive와 같은 기준 모델을 능가한다.

ABSTRACT

Integrated task and motion planning (TAMP) is desirable for generalized autonomy robots but it is challenging at the same time. TAMP requires the planner to not only search in both the large symbolic task space and the high-dimension motion space but also deal with the infeasible task actions due to its intrinsic hierarchical process. We propose a novel decision-making framework for TAMP by constructing an extended decision tree for both symbolic task planning and high-dimension motion variable binding. We integrate top-k planning for generating explicitly a skeleton space where a variety of candidate skeleton plans are at disposal. Moreover, we effectively combine this skeleton space with the resultant motion variable spaces into a single extended decision space. Accordingly, we use Monte-Carlo Tree Search (MCTS) to ensure an exploration-exploitation balance at each decision node and optimize globally to produce optimal solutions. The proposed seamless combination of symbolic top-k planning with streams, with the proved optimality of MCTS, leads to a powerful planning algorithm that can handle the combinatorial complexity of long-horizon manipulation tasks. We empirically evaluate our proposed algorithm in challenging robot tasks with different domains that require multi-stage decisions and show how our method can overcome the large task space and motion space through its effective tree search compared to its most competitive baseline method.

연구 동기 및 목표

• 장기적인 시야를 가진 로봇 조작 작업에서 대규모 상징적 공간과 고차원 운동 공간을 다루는 통합 작업 및 운동 계획(TAMP)의 과제를 해결한다.
• 부분적인 도메인 지식으로 인해 기술적 계획이 운동 실행에서 실패하는 실현 불가능한 작업 스켈레톤 문제를 해결한다.
• 다양한 고수준 계획을 동시에 탐색하고 기하학적 제약 조건 하에서 운동 파라미터 바인딩을 효율적으로 탐색하는 통합 프레임워크를 개발한다.
• 나무 탐색을 통해 단일이고 원칙적인 의사결정 과정을 통해 작업 스켈레톤과 운동 바인딩을 최적 선택한다.
• 운동 가능성이 기호적 결정에 의존하는 복잡한 실제 세계의 로봇 조작 시나리오에서 계획 효율성과 성공률을 향상시킨다.

제안 방법

• 대규모 상징적 작업 공간에서 다양한 고수준 기호적 계획(스켈레톤)을 생성하기 위해 일반적인 상위-k 계획기 사용으로 대체 가능한 해결 경로의 커버리지 확보.
• 루트 노드가 상위-k 스켈레톤 중에서 선택하고, 이후 노드들이 운동 계획기를 통해 운동 파라미터 바인딩을 수행하는 확장된 결정 트리 구축.
• 각 운동 바인딩 탐색을 마르코프 결정 과정(MDP)으로 모델링하여 PW-UCT 알고리즘(MCTS의 변종)을 사용해 최적의 탐색과 이용을 가능하게 한다.
• 스켈레톤 선택 및 운동 바인딩 과정을 단일 확장된 결정 공간으로 통합하여 MCTS가 기호적 변수와 연속 변수 양쪽에서 탐색과 이용을 균형 있게 조절할 수 있도록 한다.
• 후보 분기의 평가를 위해 롤아웃을 사용하고 누적 보상(예: 실행 가능성, 운동 비용) 기반으로 최적의 계획 선택을 반복적으로 향상시킨다.
• MCTS의 증명된 최적성 덕분에 기호적 및 연속적 탐색 공간에서 전역 최적 해에 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 기하학적 제약 조건으로 인해 실현 불가능한 스켈레톤이 발생하는 문제를 피하면서, 대규모 상징적 작업 공간을 효율적으로 탐색할 수 있는 방법은 무엇인가?
• RQ2 통합된 의사결정 프레임워크는 단일 최적화 과정에서 기호적 작업 계획과 고차원 운동 파라미터 바인딩을 효과적으로 통합할 수 있는가?
• RQ3 상위-k 기호적 계획과 MCTS의 통합은 대규모 운동 공간을 가진 복잡하고 장기적인 조작 작업에서 성능을 어떻게 향상시키는가?
• RQ4 다양한 스켈레톤 생성과 최적의 스켈레톤 선택은 기하학적으로 제약된 환경에서 TAMP의 성공률과 효율성에 어떤 영향을 미치는가?
• RQ5 운동 계획이 계산적으로 어려워지는 상황에서, 확장된 트리 탐색 프레임워크는 Adaptive와 같은 기존 TAMP 기준 모델을 얼마나 뛰어나게 성능을 내는가?

주요 결과

• 3체 해체 도메인(Unpack3)에서 eTAMP는 더 큰 운동 공간에서의 효율적인 바인딩 탐색 덕분에 Adaptive 기준 모델을 능가했으며, 간단한 경우에서는 초기 비용이 더 높았음에도 불구하고 성능이 뛰어났다.
• 재그라스핑 도메인에서 eTAMP는 86%의 성공률를 기록했고, Adaptive 기준 모델은 단지 22%에 그쳤으며, 이는 하이브리드 이산-연속 운동 공간을 더 잘 다루는 것을 보여준다.
• Unpack2와 Unpack3에서 eTAMP는 각각 100%의 성공률를 달성하여 기하학적 의존성이 있는 다단계 조작 작업에서의 강건성을 확인했다.
• 주방 및 하노이의 torre 도메인에서 eTAMP는 경쟁적인 성능을 보였으며, 이는 전통적인 바인딩 탐색 방법이 비효율적인 대규모 운동 공간에서의 성능을 입증했다.
• 상위-k 계획기는 대체 스켈레톤의 효과적인 탐색을 가능하게 하여, 불완전한 도메인 지식으로 인한 실현 불가능한 작업 동작 문제를 극복하는 데 핵심적인 역할을 했다.
• eTAMP의 MCTS를 적용한 확장된 결정 트리는 균형 잡힌 탐색-이용 전략을 제공하여 고차원이고 복잡한 운동 계획 환경에서도 최적의 해를 도출했다.