[논문 리뷰] Probably Approximately Correct Vision-Based Planning using Motion Primitives

Sushant Veer, Anirudha Majumdar|arXiv (Cornell University)|2020. 02. 28.

Robotic Path Planning Algorithms인용 수 5

한 줄 요약

이 논문은 새로운 환경에서 일반화 보장을 갖는 시각 기반 운동 계획자 학습을 위한 PAC-Bayes 기반 프레임워크를 제안한다. 선조적 학습을 위한 진화 전략과 PAC-Bayes 경계의 볼록 최적화를 융합함으로써, 깊이 신경망 정책을 학습시키며, 새로운 장애물 구역과 거친 지형에서 75–80%의 성공률를 달성하며, 높은 신뢰도로 성능 인증서를 제공한다.

ABSTRACT

This paper presents an approach for learning vision-based planners that provably generalize to novel environments (i.e., environments unseen during training). We leverage the Probably Approximately Correct (PAC)-Bayes framework to obtain an upper bound on the expected cost of policies across all environments. Minimizing the PAC-Bayes upper bound thus trains policies that are accompanied by a certificate of performance on novel environments. The training pipeline we propose provides strong generalization guarantees for deep neural network policies by (a) obtaining a good prior distribution on the space of policies using Evolutionary Strategies (ES) followed by (b) formulating the PAC-Bayes optimization as an efficiently-solvable parametric convex optimization problem. We demonstrate the efficacy of our approach for producing strong generalization guarantees for learned vision-based motion planners through two simulated examples: (1) an Unmanned Aerial Vehicle (UAV) navigating obstacle fields with an onboard vision sensor, and (2) a dynamic quadrupedal robot traversing rough terrains with proprioceptive and exteroceptive sensors.

연구 동기 및 목표

• 새로운 환경에서 명시적이고 입증 가능한 일반화 보장을 제공하는 시각 기반 계획 프레임워크를 개발하기 위해.
• 특히 안전이 중요한 로봇 응용 분야에서 딥 러닝 기반 시각 계획자에 대한 성능 경계 부족 문제를 해결하기 위해.
• 이전에 본 적 없는 환경에서 예상 성능에 대한 인증서를 갖춘 깊이 신경망 정책의 학습을 가능하게 하기 위해.
• 운동 프리미티브를 PAC-Bayes 이론과 융합하여, 시각 기반 제어에서 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 정량화된 성능 경계를 제공하는 시뮬레이션된 UAV 및 4족 보행 운동 작업을 통해 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 모든 환경에서 정책의 기대 비용에 대한 상한선을 도출하기 위해 PAC-Bayes 프레임워크를 활용하여 성능 인증이 가능하도록 한다.
• PAC-Bayes 최적화 이전에 정책 공간에서 고품질의 사전 분포를 학습하기 위해 진화 전략(ES)을 사용한다.
• 상대 엔트로피 프로그래밍(REP)을 사용하여 PAC-Bayes 최적화를 매개변수화된 볼록 문제로 재구성함으로써 효율적인 해법을 가능하게 한다.
• 복잡한 운동을 분해하기 위해 운동 프리미티브 라이브러리를 사용하여 학습 안정성을 향상시키고 다양한 행동의 조합을 가능하게 한다.
• 시각적 관측값(예: RGB-D)과 체내 감각 피드백을 운동 프리미티브 라이브러리의 하나로 매핑하는 깊이 신경망 정책을 설계한다.
• 학습 중에 직접 PAC-Bayes 경계를 최적화하여, 결과 정책이 새로운 환경에서 보장된 성능 수준을 확보하도록 한다.

실험 결과

연구 질문

• RQ1 새로운 환경에서 일반화 보장을 갖는 시각 기반 운동 계획자가 학습될 수 있는가?
• RQ2 PAC-Bayes 이론은 어떻게 운동 프리미티브와 딥 러닝을 융합하여 시각 기반 계획에 효과적으로 활용할 수 있는가?
• RQ3 고차원 정책 공간에서 PAC-Bayes 경계의 날카기(tightness)를 향상시키기 위해 진화 전략을 강력한 사전을 학습하는 데 사용할 수 있는가?
• RQ4 제안된 프레임워크를 통해 새로운 환경에서 어떤 정도의 성능을 보장할 수 있는가?
• RQ5 일반화 경계의 날카기 측면에서, 학습 환경의 수가 늘어날수록 프레임워크는 어떻게 스케일링되는가?

주요 결과

• UAV 항로 탐색 작업에서, 이 방법은 99% 신뢰도로 75–80%의 새로운 장애물 구역을 성공적으로 통과할 수 있음을 보장한다.
• 4족 보행 작업에서, PAC-Bayes 경계는 99% 확률로 평균적으로 79.27%의 새로운 거친 지형을 통과할 수 있음을 인증한다.
• 두 단계의 학습 파이프라인—사전 학습을 위한 ES 이후 REP 기반의 PAC-Bayes 최적화—는 더 날카롭고 신뢰할 수 있는 일반화 경계를 제공한다.
• 프레임워크는 명시적 기하 세계 모델이나 전문가의 지시 없이도 강력한 일반화 성능을 달성한다.
• PAC-Bayes 최적화 과정은 계산적으로 효율적이며, 각 반복에서 REP 하위 문제를 해결하는 데 약 1초가 소요된다.
• 이 방법은 학습 및 테스트 환경이 동일한 기초 분포에서 추출된다는 가정 하에 성능 인증서를 제공한다.