[논문 리뷰] Using Deep Learning to Bootstrap Abstractions for Hierarchical Robot Planning

Naman Shah, Siddharth Srivastava|arXiv (Cornell University)|2022. 02. 02.

AI-based Problem Solving and Planning인용 수 5

한 줄 요약

이 논문은 환경의 핵심 영역을 식별하여 계층적 로봇 운동 계획을 위한 상태 및 동작 추상화를 자동으로 학습하는 딥러닝 기반 방법을 제안한다. 로봇 전용 아키텍처를 가진 고유한 신경망을 사용하여 추상 상태와 동작를 생성함으로써, 새로운 다중 소스, 이중 방향 계획 알고리즘을 구현하며, 훈련 중에 볼 수 없었던 환경에서도 최신 기준 대비 10배 빠른 계획을 달성하면서도 타당성과 확률적 완전성을 확보한다.

ABSTRACT

This paper addresses the problem of learning abstractions that boost robot planning performance while providing strong guarantees of reliability. Although state-of-the-art hierarchical robot planning algorithms allow robots to efficiently compute long-horizon motion plans for achieving user desired tasks, these methods typically rely upon environment-dependent state and action abstractions that need to be hand-designed by experts. We present a new approach for bootstrapping the entire hierarchical planning process. This allows us to compute abstract states and actions for new environments automatically using the critical regions predicted by a deep neural network with an auto-generated robot-specific architecture. We show that the learned abstractions can be used with a novel multi-source bi-directional hierarchical robot planning algorithm that is sound and probabilistically complete. An extensive empirical evaluation on twenty different settings using holonomic and non-holonomic robots shows that (a) our learned abstractions provide the information necessary for efficient multi-source hierarchical planning; and that (b) this approach of learning, abstractions, and planning outperforms state-of-the-art baselines by nearly a factor of ten in terms of planning time on test environments not seen during training.

연구 동기 및 목표

• 계층적 로봇 계획에서 수작업으로 설계된 추상화의 한계를 해결함으로써 확장성과 도메인 전이 능력을 향상시키기 위해.
• 딥러닝을 활용해 환경 기반의 핵심 영역을 자동으로 학습하여 고수준 계획 추상화를 구동하기 위한 방법을 개발하기 위해.
• 학습된 추상화를 활용해 효율적이고 신뢰성 있는 운동 계획을 수행할 수 있는 다중 소스, 이중 방향 계층적 계획 알고리즘을 설계하기 위해.
• 계획 과정에서 타당성과 확률적 완전성의 형식적 보장을 확보하기 위해.

제안 방법

• 로봇 전용 아키텍처를 가진 딥 네트워크를 훈련시켜 환경의 핵심 영역을 예측함으로써 추상화의 기준점이 되는 랜드마크를 제공한다.
• 예측된 핵심 영역과의 거리 기반으로 구성공간을 분할하여 추상 상태를 형성함으로써 고수준 상태 추상화를 가능하게 한다.
• 추상 상태 간 전이로 정의된 추상 동작은 '복도를 통과하다' 또는 '방에 들어가다'와 같은 고수준 이동을 나타낸다.
• 다중 소스, 이중 방향 계층적 계획 알고리즘은 이러한 학습된 추상화를 활용하여 시작점과 목표점에서 동시에 경로 탐색을 수행함으로써 탐색 효율성을 향상시킨다.
• 저수준 운동 계획의 피드백을 기반으로 추상 동작 비용을 동적으로 업데이트하는 히우리스틱 함수를 유지함으로써 수렴성을 향상시킨다.
• 저수준 운동 계획은 고수준 추상 계획을 실행 가능한 궤적으로 정밀화함으로써 목표 달성과 동시에 운동학적 제약 및 장애물 제약을 준수한다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용해 훈련 중에 볼 수 없었던 환경에서 효과적인 계층적 계획 추상화의 기초가 되는 핵심 영역을 자동으로 탐지할 수 있는가?
• RQ2 학습된 추상화는 어떻게 계층적 계획 프레임워크에 효과적으로 통합되어 계획 효율성과 신뢰성을 향상시킬 수 있는가?
• RQ3 딥러닝으로 학습한 추상화를 사용할 때, 다중 소스, 이중 방향 계획 전략이 단일 소스 접근 방식보다 우월한가?
• RQ4 제안된 방법은 복잡한 환경과 고자유도 로봇에 대해 확장 가능하면서도 타당성과 확률적 완전성을 달성할 수 있는가?

주요 결과

• 제안된 방법은 훈련 중에 볼 수 없었던 테스트 환경에서 최신의 샘플링 기반 계획자 대비 약 10배 빠른 계획 시간을 기록했다.
• 환경의 이산적 변형에서 평균적으로 631 ± 278개 및 496 ± 175개의 노드를 생성한 반면, TogglePRM는 각각 4,234 ± 532개 및 19,234 ± 4,345개의 노드를 생성했다.
• 동적으로 업데이트되는 히우리스틱 함수의 사용으로 계획 시간이 크게 감소했으며, 초기 반복 이후 시간 감소가 급격히 나타났다.
• 학습된 추상화를 활용한 다중 소스, 이중 방향 계획자는 단일 소스 방법보다 더 빠른 수렴과 향상된 확장성을 보였다.
• 20개의 다양한 설정(대규모이고 복잡한 환경 내에서 허브닉 및 비허브닉 로봇 포함)에서 프레임워크는 강인성과 확장성을 입증했다.
• 이 방법은 확률적 완전성과 하향 방향 정밀화 성질을 달성하여 계층적 추상화 과정의 정확성을 보장했다.