[논문 리뷰] Stochastic trajectory optimization for mechanical systems with parametric uncertainties

George I. Boutselis, Yunpeng Pan외 2명|arXiv (Cornell University)|2017. 05. 16.

Probabilistic and Robust Engineering Design참고 문헌 37인용 수 4

한 줄 요약

이 논문은 일반화된 다항식 혼합(gPC)과 미분 동적 프rogramming(DDP)의 확장인 gPC-DDP를 사용하여 매개변수적 불확실성이 있는 기계 시스템을 위한 확률적 궤적 최적화 프레임워크를 제안한다. 불확실성을 정규직교 다항식 전개를 통해 표현하고, 기하학적 구조를 유지하는 변분 적분법을 활용하여 시스템의 동역학을 정확하게 전파함으로써, 이론적 수렴 보장과 함께 빠르고 스케일이 가능하며 이차 수렴 속도를 갖는 불확실성 하에서의 궤적 최적화를 가능하게 한다. 시뮬레이션을 통한 성능 검증도 수행되었다.

ABSTRACT

In this paper we develop a novel, discrete-time optimal control framework for mechanical systems with uncertain model parameters. We consider finite-horizon problems where the performance index depends on the statistical moments of the stochastic system. Our approach constitutes an extension of the original Differential Dynamic Programming method and handles uncertainty through generalized Polynomial Chaos (gPC) theory. The developed iterative scheme is capable of controlling the probabilistic evolution of the dynamic system and can be used in planning and control. Moreover, its scalable and fast converging nature play a key role when dealing with complex, high-dimensional problems. Based on Lagrangian mechanics principles, we also prove that Variational Integrators can be designed to properly propagate and linearize the gPC representations of stochastic, forced mechanical systems in discrete time. We utilize this benefit to further improve the efficiency of our trajectory-optimization methodology. Numerical simulations are included to validate the applicability of our approach.

연구 동기 및 목표

• 기존 방법이 추가 노이즈나 가우시안 상태 분포를 가정하는 데 반해, 매개변수적 불확실성이 있는 기계 시스템에서의 궤적 최적화 문제를 해결하기 위해.
• 소음 항만이 아니라 시스템 매개변수의 불확실성을 명시적으로 표현하는 모델 기반 최적 제어 프레임워크를 개발하기 위해.
• 일반화된 다항식 혼합(gPC) 이론을 활용해 확률적 동역학을 다룰 수 있도록 기존 DDP 알고리즘을 확장하여 정확한 통계적 모멘트 전파를 가능하게 하기 위해.
• 변분 적분법을 통한 기하학적 구조 유지 기반 시간 적분을 통해 고차원 복잡한 기계 시스템에 대해 계산 효율성과 확장성을 확보하기 위해.
• 비용 함수의 헤시안 행렬에 대한 표준 부드러움 조건과 정부정성 조건을 만족할 경우, 제안된 반복 최적화 방법의 이론적 수렴 보장을 위해.

제안 방법

• 일반화된 다항식 혼합(gPC)을 사용하여 랜덤 변수의 정규직교 다항식 전개를 통해 상태와 시스템 동역학을 표현함으로써, 통계적 모멘트를 시스템 전반에 걸쳐 전파할 수 있도록 한다.
• 기존 DDP 알고리즘을 gPC 계수에 적용하도록 확장하여, 비용이 상태의 평균과 분산에 의존하는 확률적 최적 제어 문제로 재정의한다.
• 알고리즘은 반복적으로 값 함수와 비용 전이 함수의 두 번째 차수 근사를 gPC 전개를 통해 계산함으로써 제어 정책의 효율적이고 안정적인 업데이트를 가능하게 한다.
• 변분 적분법은 라그랑주 역학 원리를 기반으로 유도되며, gPC로 표현된 동역학의 시간 적분 과정에서 기하학적 구조를 유지한다.
• 각 반복 단계에서 gPC로 표현된 동역학과 비용 함수를 선형화하여, 리카티 유사 방정식을 통한 효율적 제어 업데이트 계산을 가능하게 한다.
• 비용 전이 함수의 헤시안에 대한 표준 부드러움 조건과 정부정성 조건을 만족할 경우, 수렴 속도가 이차 수렴임을 증명한다.

실험 결과

연구 질문

• RQ1 일반화된 다항식 혼합(gPC) 표현을 사용하여 DDP 기반 최적 제어 프레임워크를 매개변수적 불확실성이 있는 기계 시스템에 확장할 수 있는가?
• RQ2 gPC와 기하학적 구조 유지 적분법을 활용해 불확실한 매개변수를 가진 기계 시스템의 확률적 진화를 정확히 전파하고 제어할 수 있는가?
• RQ3 제안된 gPC-DDP 알고리즘의 수렴 속도는 얼마이며, 어떤 조건에서 이차 수렴이 보장될 수 있는가?
• RQ4 이산 시간에서 gPC로 표현된 확률적 기계 시스템의 기하학적 구조를 유지할 수 있는 변분 적분법을 구성할 수 있는가?
• RQ5 기존의 가우시안 가정이나 추가 노이즈 모델에 의존하는 확률적 최적 제어 방법과 비교해 본다면, 제안된 방법은 효율성과 정확성 측면에서 어떻게 다른가?

주요 결과

• 표준 부드러움 조건과 정부정성 조건 하에서, 귀납법과 테일러 전개를 통한 증명을 통해 제안된 gPC-DDP 방법이 이차 수렴 속도를 확보함을 입증하였다.
• 변분 적분법을 활용하여 gPC로 표현된 확률적 강제 기계 시스템의 동역학을 정확하게 전파하고 선형화함으로써, 시스템의 기하학적 구조를 유지함을 확인하였다.
• 수치 시뮬레이션을 통해 고차원 비선형 기계 시스템에서도 시스템 상태의 평균과 분산을 시간에 따라 효과적으로 제어할 수 있음을 검증하였다.
• gPC의 사용은 매개변수 변화로 인한 비정규 분포 불확실성을 정확히 표현할 수 있게 하여, 가우시안 상태를 가정하는 모멘트 매칭 접근법의 한계를 극복한다.
• 이 프레임워크는 확장 가능하고 계산적으로 효율적이므로, 복잡한 고차원 로봇 및 기계 시스템의 불확실성 하에서의 계획에 적합하다.
• 이론적 분석을 통해 제어 업데이트 단계가 이차 수렴함을 확인하였으며, 오차는 이전 반복의 오차 제곱에 상수 배수로 제한된다.