[논문 리뷰] Broadly-Exploring, Local-Policy Trees for Long-Horizon Task Planning

Brian Ichter, Pierre Sermanet외 1명|arXiv (Cornell University)|2020. 10. 13.

AI-based Problem Solving and Planning인용 수 2

한 줄 요약

BELT는 고차원이고 복잡한 환경에서 장기 예측, 순차적 작업 계획을 가능하게 하기 위해 RRT 기반 트리 탐색과 작업 조건부로 학습된 국소 정책을 융합한 하이브리드 계획 프레임워크를 제안한다. 시간적 연장에 대해 작업 조건부 다이내믹스 모델을 통합함으로써 장기 예측에 걸쳐 강력하고 샘플 효율적인 계획을 달성하며, 어려운 시나리오에서 순수 학습 기반 또는 전통적 계획 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Long-horizon planning in realistic environments requires the ability to reason over sequential tasks in high-dimensional state spaces with complex dynamics. Classical motion planning algorithms, such as rapidly-exploring random trees, are capable of efficiently exploring large state spaces and computing long-horizon, sequential plans. However, these algorithms are generally challenged with complex, stochastic, and high-dimensional state spaces as well as in the presence of narrow passages, which naturally emerge in tasks that interact with the environment. Machine learning offers a promising solution for its ability to learn general policies that can handle complex interactions and high-dimensional observations. However, these policies are generally limited in horizon length. Our approach, Broadly-Exploring, Local-policy Trees (BELT), merges these two approaches to leverage the strengths of both through a task-conditioned, model-based tree search. BELT uses an RRT-inspired tree search to efficiently explore the state space. Locally, the exploration is guided by a task-conditioned, learned policy capable of performing general short-horizon tasks. This task space can be quite general and abstract; its only requirements are to be sampleable and to well-cover the space of useful tasks. This search is aided by a task-conditioned model that temporally extends dynamics propagation to allow long-horizon search and sequential reasoning over tasks. BELT is demonstrated experimentally to be able to plan long-horizon, sequential trajectories with a goal conditioned policy and generate plans that are robust.

연구 동기 및 목표

• 실제 로봇 작업에서 흔히 발생하는 고차원, 확률적, 복잡한 상태 공간에서의 장기 예측 계획 문제를 해결한다.
• 좁은 통로나 복잡한 동역학을 다룰 때 일반적으로 실패하는 RRT와 같은 전통적 운동 계획 알고리즘의 한계를 극복한다.
• 학습된 정책의 일반화 능력을 살리면서도 트리 기반 탐색의 탐색 효율성을 유지한다.
• 다이내믹스 전파의 모델 기반 확장 방식을 통해 추상적 고수준 작업에 대한 순차적 추론을 가능하게 한다.
• 샘플 효율성과 장기 예측 궤적 생성을 동시에 확보하는 확장 가능한 강력한 계획 프레임워크를 개발한다.

제안 방법

• 고차원 및 복잡한 환경에서도 커버리지가 보장되도록 상태 공간을 광범위하게 탐색하기 위해 RRT 기반 트리 탐색을 사용한다.
• 국소 탐색을 안내하기 위해 작업 조건부로 학습된 정책을 활용하여 샘플된 상태 주변에서 효과적인 이동을 가능하게 한다.
• 장기 예측에 걸쳐 상태 전이를 전파하는 작업 조건부 다이내믹스 모델을 도입하여 순차적 추론을 지원한다.
• 다양한 장기 예측 작업 간의 일반화를 위해 샘플 가능한 추상적 작업 임bedding에 정책과 다이내믹스 모델을 조건화한다.
• 학습된 정책과 모델을 트리 확장 과정에 통합하여 효율적인 탐색과 정보 기반 국소 계획을 동시에 달성한다.
• 전역 트리 탐색이 유망한 경로를 식별하고 국소 정책이 궤적 세그먼트를 정밀하게 보정하는 계층적 계획 전략을 사용한다.

실험 결과

연구 질문

• RQ1 트리 기반 탐색과 학습된 국소 정책을 융합한 하이브리드 접근 방식이 복잡하고 고차원적인 환경에서 강력한 장기 예측 계획을 달성할 수 있는가?
• RQ2 작업 조건부 다이내믹스 모델은 짧은 예측 수준의 정책 롤아웃을 얼마나 효과적으로 장기 궤적의 순차적 추론을 지원하는 데까지 연장할 수 있는가?
• RQ3 고정되거나 저수준의 액션 공간 대비 샘플 가능한 추상적 작업 공간을 사용할 경우 일반화 능력과 계획 효율성이 얼마나 향상되는가?
• RQ4 좁은 통로와 복잡한 동역학을 포함한 환경에서 전통적 RRT가 실패하는 상황에서 BELT는 어떻게 성능을 내는가?
• RQ5 모델 기반 트리 탐색에 학습된 정책을 통합함으로써 샘플 효율성을 유지하면서도 장기 예측 계획을 수행할 수 있는가?

주요 결과

• BELT는 복잡한 동역학을 가진 고차원 환경에서 장기 예측, 순차적 궤적을 성공적으로 생성하며, 도전적인 상태 공간 구조에 대해서도 강건함을 입증한다.
• 작업 조건부 다이내믹스 모델의 통합은 정책 롤아웃의 시간적 연장에 효과적으로 기여하여 장기 예측에 걸쳐 일관된 순차적 추론을 가능하게 한다.
• 샘플 가능한 추상적 작업 공간의 사용은 작업 특화 재학습 없이도 다양한 작업 간의 일반화를 가능하게 한다.
• BELT는 장기 예측 작업에서 성공률과 샘플 효율성 측면에서 순수 RRT 기반 방법과 순수 엔드 투 엔드 학습 기반 계획 접근 방식보다 뛰어난 성능을 보였다.
• 표준 RRT가 탐색 부족으로 실패하기 쉬운 좁은 통로가 있는 환경에서도 BELT는 신뢰할 수 있는 계획을 수행한다.
• 실험 결과는 광범위한 트리 탐색과 국소 정책 안내의 조합이 수렴 속도 향상과 고품질 계획을 이끌어낸다는 점을 확인한다.