[논문 리뷰] GPU Based Path Integral Control with Learned Dynamics

Grady Williams, Eric Rombokas외 1명|arXiv (Cornell University)|2015. 03. 01.

Robotic Path Planning Algorithms참고 문헌 9인용 수 11

한 줄 요약

이 논문은 학습된 확률적 동역학 모델(예: LWPR를 통한)과 불확실성 인식 계획을 통합한 GPU 가속화된 후행 시간 경로 적분 제어 알고리즘을 제시한다. GPU에서 수천 개의 궤적을 샘플링하고 비용 및 모델 불확실성에 따라 가중치를 적용함으로써, 이 방법은 장애물이 많은 환경에서 나노 퀼로터의 실시간 안전 주행을 가능하게 하며, 단순한 학습된 모델과 해석적 동역학 모델에 비해 일관성과 안전성 면에서 뛰어난 성능을 보인다.

ABSTRACT

We present an algorithm which combines recent advances in model based path integral control with machine learning approaches to learning forward dynamics models. We take advantage of the parallel computing power of a GPU to quickly take a massive number of samples from a learned probabilistic dynamics model, which we use to approximate the path integral form of the optimal control. The resulting algorithm runs in a receding-horizon fashion in realtime, and is subject to no restrictive assumptions about costs, constraints, or dynamics. A simple change to the path integral control formulation allows the algorithm to take model uncertainty into account during planning, and we demonstrate its performance on a quadrotor navigation task. In addition to this novel adaptation of path integral control, this is the first time that a receding-horizon implementation of iterative path integral control has been run on a real system.

연구 동기 및 목표

• 모델 기반 경로 적분 제어와 학습된 동역학 모델을 결합한 실시간 후행 시간 최적 제어 프레임워크를 개발하는 것.
• 학습된 동역학 모델의 모델 편향 문제를 제어 계획 과정에 모델 불확실성을 통합함으로써 해결하는 것.
• 확률적 동역학 모델을 사용하여 복잡한 환경에서 데이터 효율적인 자율 작업 학습을 가능하게 하는 것.
• 실제 물리적 로봇에 대해 후행 시간 PI²의 첫 번째 실현 구현을 보여주는 것.
• 암묵적인 분산 최소화가 불확실성 인식 계획을 통해 장애물이 많은 작업에서 안전성과 일관성 향상에 기여하는지 보여주는 것.

제안 방법

• 알고리즘은 局부加權投影回帰(LWPR)를 사용하여 평균 및 분산 예측을 포함한 확률적 전방 동역학 모델을 학습한다.
• 수정된 PI²-RH 공식은 학습된 동역학 모델의 전체 예측 분포에서 궤적을 샘플링함으로써 모델 불확실성을 통합한다.
• GPU에서 대량의 병렬 궤적 샘플링을 수행하여 실시간으로 경로 적분 해를 효율적으로 근사한다.
• 제어 정책은 비용-지출의 지수 함수에 비례하는 가중치를 가진 제어 동작의 가중 평균을 통해 계산되며, 이 가중치는 온도 파rameter λ의 역수에 의해 스케일링된다.
• 이 방법은 장애물이 많은 환경에서 불확실성이 낮고 안전한 경로를 우선시함으로써, 비용 함수에 명시적인 분산 항목이 없더라도 궤적 분산을 암묵적으로 최소화한다.
• 시스템은 현재 상태 추정치와 학습된 모델을 사용하여 매 시간 단위마다 재계획을 수행하는 후행 시간 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 GPU 가속화된 경로 적분 제어 프레임워크는 실시간 로봇 제어에서 불확실성을 고려한 학습된 동역학 모델을 효과적으로 처리할 수 있는가?
• RQ2 경로 적분 제어 공식에 모델 불확실성을 통합함으로써, 장애물 주행에서 안전성과 일관성이 어떻게 향상되는가?
• RQ3 학습된 동역학 모델이 실제 주행 작업에서 해석적 모델보다 강건성과 성능 면에서 뛰어나게 될 수 있는가?
• RQ4 비용 함수에 명시적인 분산 항목이 없더라도 알고리즘이 궤적 분산을 암묵적으로 최소화하는가?
• RQ5 서브-롤아웃 수의 영향은 계획의 안전성, 계산 비용, 작업 성공률에 어떤가?

주요 결과

• 알고리즘은 M = 1을 제외한 모든 설정에서 장애물 회피 작업을 성공적으로 완료하였으며, 이 경우 평균 예측만 사용되어 총 7회 중 4회 성공하였다.
• M = 4의 서브-롤아웃을 사용할 경우 전체 성능이 최고였으며, 분석적 모델보다 모든 지표에서 뛰어났다: 평균 총 비용(5868.72 vs. 6943.27), 비용/초(168.22 vs. 186.93), 평균 최소 통과 거리(0.30m vs. 0.23m).
• M = 1 설정은 성공 시험 중 평균 총 비용이 가장 낮았지만(5733.55), 높은 위험성과 일관성 부족을 보여, 모델 불확실성을 忽略하는 위험성을 입증하였다.
• 서브-롤아웃 수가 증가함에 따라 LWPR 가속도 예측의 평균 분산이 1.39(M=1)에서 1.14(M=32)로 감소하여, 모델 예측에 대한 신뢰도 향상을 보였다.
• 비용 함수에 명시적인 분산 페널티가 없음에도 불구하고, 이 알고리즘은 장애물이 많은 환경에서 안전하고 확실한 경로를 우선시함으로써 궤적 분산을 암묵적으로 최소화하였다.
• 평균 최적화 시간이 M=4일 때 34.91ms에서 M=32일 때 52.13ms로 변동하며 실시간 성능을 확보하여 실제 적용 가능성은 입증되었다.