[논문 리뷰] Learning to Plan Optimally with Flow-based Motion Planner

Tin Lai, Fábio Ramos|arXiv (Cornell University)|2020. 10. 21.

Robotic Path Planning Algorithms참고 문헌 30인용 수 5

한 줄 요약

이 논문은 정상적인 흐름을 사용하여 문제에 특화된 정보(예: 시작 상태 및 목표 상태)에 조건화된 최적의 표본 추출 분포를 학습하는 플로우 기반 운동 계획기인 PlannerFlows를 소개한다. 선구적 전문가 경험을 활용함으로써 비유효 표본을 줄이고 수렴 속도를 높이며, 런타임과 해의 품질에서 최신 기술을 능가한다. 또한 구조화된 정상적인 흐름 아키텍처를 통해 모드 붕괴를 방지한다.

ABSTRACT

Sampling-based motion planning is the predominant paradigm in many real-world robotic applications, but its performance is immensely dependent on the quality of the samples. The majority of traditional planners are inefficient as they use uninformative sampling distributions as opposed to exploiting structures and patterns in the problem to guide better sampling strategies. Moreover, most current learning-based planners are susceptible to posterior collapse or mode collapse due to the sparsity and highly varying nature of C-Space and motion plan configurations. In this work, we introduce a conditional normalising flow based distribution learned through previous experiences to improve sampling of these methods. Our distribution can be conditioned on the current problem instance to provide an informative prior for sampling configurations within promising regions. When we train our sampler with an expert planner, the resulting distribution is often near-optimal, and the planner can find a solution faster, with less invalid samples, and less initial cost. The normalising flow based distribution uses simple invertible transformations that are very computationally efficient, and our optimisation formulation explicitly avoids mode collapse in contrast to other existing learning-based planners. Finally, we provide a formulation and theoretical foundation to efficiently sample from the distribution; and demonstrate experimentally that, by using our normalising flow based distribution, a solution can be found faster, with less samples and better overall runtime performance.

연구 동기 및 목표

• 고차원 C-공간에서 무정보적, 균일한 표본 추출에 의존하는 전통적인 표본 기반 운동 계획기의 비효율성을 해결하기 위해.
• 희소하고 변동성이 큰 C-공간 구성으로 인해 학습 기반 계획기에서 발생하는 모드 붕괴 및 사후 붕괴 문제를 극복하기 위해.
• 기존 최적의 계획을 기반으로 한 계산 효율성이 높은 조건부 표본 추출 분포를 개발하여 더 빠르고 고급 품질의 운동 계획을 가능하게 하기 위해.
• 목표 상태 정보가 불완전한 탐색적 상황에서도 학습된 사전 지식에 기반한 추론을 통해 효과적인 계획을 가능하게 하기 위해.

제안 방법

• 작업공간 정보 $\omega$와 C-공간 내의 구성 $q$를 조건으로 하는 표본 추출 분포 $\mathcal{Q}_{\theta}(q \mid \omega, q_{\text{init}}, q_{\text{target}})$ 를 모델링하기 위해 조건부 정상적인 흐름을 훈련한다.
• 역행 가능하고 일대일 대응되는 변환을 사용하여 계산 효율성이 높고, 훈련을 위한 정확한 가능도 계산이 가능하다.
• 전문가 계획기의 시범 데이터를 사용하여 훈련함으로써, 주어진 문제 인스턴스에 대해 근사 최적의 표본 추출 분포를 학습할 수 있도록 한다.
• 표본 구성의 다양성을 유지하는 가능도 기반 목적 함수를 최적화함으로써, 모드 붕괴를 방지하기 위해 조건부 분포가 명시적으로 설계되었다.
• 표본 추출은 C-공간에서 수행되며, 시각화를 위해 작업공간으로 투영된다. 충돌 검사는 표본 추출 후에 적용되어 궤도의 유효성을 검증한다.
• 기존의 표본 기반 계획기(예: RRT, RRT*)와 호환되며, 학습된 정보가 풍부한 표본 추출 전략으로 이를 향상시킨다.

실험 결과

연구 질문

• RQ1 시작 상태 및 목표 상태에 조건화된 플로우 기반 분포가 C-공간 내 최적 궤도 근처 영역에서 표본을 추출하는 데 성공할 수 있는가?
• RQ2 균일한 표본 추출에 비해 제안된 방법이 비유효 표본 수와 충돌 검사 횟수를 얼마나 줄이는가?
• RQ3 기타 학습 기반 표본 추출 방법에 비해 조건부 정상적인 흐름이 모드 붕괴를 어느 정도 방지하는가?
• RQ4 목표 상태가 알려지지 않은 탐색적 계획 작업에서 학습된 분포가 여전히 효과적인가?
• RQ5 플로우 기반 사전 지식을 사용할 경우 다양한 환경에서 전체 계획 속도와 해의 품질이 향상되는가?

주요 결과

• PlannerFlows는 계획 시간 측면에서 베이스라인 방법을 일관되게 능가하여, 해에 도달하기 위해 훨씬 적은 표본 수가 필요했다.
• 특히 정방향 운동학계산이 비용이 많이 드는 고차원 시나리오에서 비유효 표본 수와 충돌 검사 횟수가 극적으로 감소했다.
• 시작 상태 $q_{\text{init}}$ 와 목표 상태 $q_{\text{target}}$ 둘 다에 조건화된 경우, 플로우 기반 분포가 최적 궤도 근처에 표본을 집중시키는 것으로 확인되었으며, 표본 구성의 시각화에서 이를 확인할 수 있었다.
• 예를 들어 $q_{\text{init}}$ 또는 $\omega$만 제공된 경우에도 분포는 효과적으로 유지되었고, 균일한 표본 추출보다 더 높은 품질의 표본을 생성했다.
• 플로우 추론으로 인한 런타임 오버헤드는 1% 미만으로 나타나 계산 효율성이 뛰어났다.
• 실험 결과는 플로우 기반 분포가 가능도 기반 훈련 목적 함수 덕분에 모드 붕괴를 방지하고 높은 표본 다양성을 유지함을 확인했다.