[논문 리뷰] Approximately Optimal Continuous-Time Motion Planning and Control via Probabilistic Inference

Mustafa Mukadam, Ching-An Cheng외 2명|arXiv (Cornell University)|2017. 02. 23.

Robotic Path Planning Algorithms참고 문헌 25인용 수 4

한 줄 요약

이 논문은 임의의 고차 비선형 성능 지표를 가진 확률적 시스템에서 연속시간 운동 계획 및 제어를 위한 근사 최적의 확률적 추론 기반 알고리즘인 PIPC를 제안한다. 성능 지표를 가우시안 프로세스 기반 확률적 그래픽 모델에 대한 사후 추론 문제로 공식화함으로써, PIPC는 비선형 요소의 수에 대해 선형 복잡도를 달성하여, 폐쇄형 성능를 갖춘 효율적인 온라인 후행 수평 계획을 가능하게 한다.

ABSTRACT

The problem of optimal motion planing and control is fundamental in robotics. However, this problem is intractable for continuous-time stochastic systems in general and the solution is difficult to approximate if non-instantaneous nonlinear performance indices are present. In this work, we provide an efficient algorithm, PIPC (Probabilistic Inference for Planning and Control), that yields approximately optimal policies with arbitrary higher-order nonlinear performance indices. Using probabilistic inference and a Gaussian process representation of trajectories, PIPC exploits the underlying sparsity of the problem such that its complexity scales linearly in the number of nonlinear factors. We demonstrate the capabilities of our algorithm in a receding horizon setting with multiple systems in simulation.

연구 동기 및 목표

• 복잡한 고차 비선형 성능 지표를 가진 연속시간 스토케스틱 시스템에서 최적의 운동 계획 및 제어 문제를 해결한다.
• 특히 상태와 제어 입력 간의 시간에 걸친 비선형 요소의 결합으로 인해 일반적인 연속시간 최적 제어 문제의 정확한 해법이 비가능해지는 문제를 해결한다.
• 성능 지표의 기초 구조에 존재하는 희소성 특성을 활용하여 문제 복잡도에 비례해 효율적으로 확장 가능한 알고리즘을 개발한다.
• 최적 제어 문제를 확률적 그래픽 모델 상의 이중 추론 문제로 변환함으로써 실시간 폐쇄형 수평 계획 및 제어를 가능하게 한다.
• 기존의 추론 기반 제어 프레임워크를 확장하여 즉각적인 비용 외의 임의의 비선형 요소를 다룰 수 있도록 하여 더 풍부한 성능 사양을 가능하게 한다.

제안 방법

• 일반화된 선형-지수-제곱-가우시안(gLEQG) 프레임워크를 사용하여 최적 제어 문제를 이중 확률적 추론 문제로 공식화한다.
• 경로를 가우시안 프로세스로 표현함으로써 비모수적이고 부드러운 정책 표현 및 불확실성 정량화를 가능하게 한다.
• 라플라스 근사를 사용하여 경로 상의 가우시안 사후 분포 근사를 도출함으로써 효율적인 추론을 가능하게 한다.
• 성능 지표의 요소 그래프 표현에서의 희소성을 활용하여 계산 복잡도가 비선형 요소의 수에 대해 선형으로 증가하도록 보장한다.
• 새로운 관측치가 수집될 때마다 베이지안 추론을 사용해 정책을 반복적으로 갱신하는 후행 수평 제어 전략을 구현한다.
• 불확실한 환경에서의 강건성을 확보하기 위해 알고리즘을 마코프 결정 과정(MDP)과 부분 관측 가능 마코프 결정 과정(POMDP)에 통합한다.

실험 결과

연구 질문

• RQ1 임의의 고차 비선형 성능 지표를 가진 연속시간 최적 제어 문제를 해결하는 데에 확률적 추론을 사용할 수 있는가?
• RQ2 최적 제어와 추론 간의 이중성은 비즉각적이고 비선형적인 비용 요소를 포함한 문제로까지 확장 가능한가?
• RQ3 희소성 활용을 통해 이러한 문제를 풀이하는 계산 복잡도를 비선형 요소의 수에 대해 선형으로 만들 수 있는가?
• RQ4 제안된 추론 기반 방법의 성능은 동적인 불확실한 환경에서 전통적인 오픈 루프 및 폐쇄형 수평 계획 알고리즘과 비교해 어떻게 되는가?
• RQ5 알고리즘이 부분 관측 가능하고 비가우시안 노이즈가 존재하는 실시간 후행 수평 설정에서 효율적으로 적용될 수 있는가?

주요 결과

• PIPC는 고차원 시스템에서의 높은 시스템 노이즈($Q_x$) 또는 복잡한 장애물 환경 조건에서도 오픈 루프 방법보다 훨씬 높은 성공률을 기록한다.
• 2D 비차원 로봇 벤치마크에서 폐쇄형 PIPC는 $Q_x = 0.01$ 조건에서 MDP 케이스에서 100% 성공률을 달성했고, 노이즈가 증가한 조건($Q_x = 0.03$)에서 오픈 루프 방법은 성공률이 85%로 떨어졌다.
• WAM 및 PR2 로봇 암의 경우, $Q_x = 0.01$ 조건에서 MDP 케이스에서 PIPC는 100% 성공률을 유지했고, 고노이즈 조건($Q_x = 0.03$, 성공률 90% vs. 75%)에서도 오픈 루프 POMDP 방법보다 뛰어난 성능를 보였다.
• 시간, 경로 길이, 경로 비용 등의 집계 지표는 노이즈와 장애물 수가 증가함에 따라 증가했지만, PIPC로 성공한 실행 사례에서는 궤적 품질과 강건성에서 일관된 향상을 보였다.
• 알고리즘이 고차원 시스템(7-DOF 암)에 대해서도 스케일이 잘 되는 것으로 확인되어, 저차원 문제 외의 적용 가능성도 입증되었다.
• 폐쇄형 PIPC는 항상 오픈 루프 기반 방법보다 뛰어난 성능를 보였으며, 더 높은 확률적 불확실성 조건에서 성공률 격차가 커지면서 불확실성에 대한 강력한 강건성을 입증했다.