[논문 리뷰] Data-Driven Chance Constrained Control using Kernel Distribution Embeddings

Adam J. Thorpe, Thomas Lew외 2명|arXiv (Cornell University)|2022. 02. 08.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 커널 분포 임bedding를 사용하여 데이터 기반 방법을 제안하며, 시스템 동역학이나 불확실성 분포의 형태를 가정하지 않고, 모델 자유형으로 효율적으로 확률적 제어 정책을 계산할 수 있도록 하는 연관 확률 제약 최적 제어 문제를 해결한다. 상태 경로 분포를 재생 핵 힐버트 공간(RKHS)에 임bedding함으로써, 문제를 제어 매개변수에 대한 다루기 쉬운 선형 프로그램으로 재구성한다. 이는 비선형, 비마르코프 시스템과 비볼록 제약 조건을 가진 시뮬레이션에서도 성공적으로 처리할 수 있다.

ABSTRACT

We present a data-driven algorithm for efficiently computing stochastic control policies for general joint chance constrained optimal control problems. Our approach leverages the theory of kernel distribution embeddings, which allows representing expectation operators as inner products in a reproducing kernel Hilbert space. This framework enables approximately reformulating the original problem using a dataset of observed trajectories from the system without imposing prior assumptions on the parameterization of the system dynamics or the structure of the uncertainty. By optimizing over a finite subset of stochastic open-loop control trajectories, we relax the original problem to a linear program over the control parameters that can be efficiently solved using standard convex optimization techniques. We demonstrate our proposed approach in simulation on a system with nonlinear non-Markovian dynamics navigating in a cluttered environment.

연구 동기 및 목표

• 일반적인 연관 확률 제약 최적 제어 문제에 대해, 시스템 동역학이나 불확실성 분포의 매개변수 모델에 의존하지 않고 효율적으로 확률적 정책을 계산하는 데이터 기반 제어 방법을 개발하는 것.
• 시스템 동역학 또는 불확실성 분포의 매개변수 모델에 대한 의존성을 제거하는 것.
• 비마르코프성 및 비선형 시스템에서도 전체 경로에 걸쳐 제약 조건을 충족시킬 수 있도록 하는 것.
• 제어 매개변수에 대한 선형 프로그램으로의 볼록 이완을 통해 계산 효율적인 해를 제공하는 것.
• 비볼록 제약 조건과 동적 장애물이 존재하는 도전적인 비선형, 비마르코프 시스템에서의 방법 검증

제안 방법

• 이 방법은 재생 핵 힐버트 공간(RKHS)에 상태 경로 분포를 원소로 표현함으로써, 비모수적 방식으로 시스템의 확률적 동역학을 표현한다.
• 관측된 경로 데이터 세트를 사용하여 진정한 분포 임bedding를 근사함으로써, 동역학 또는 불확실성의 형태에 대한 가정을 피한다.
• 연관 확률 제약 조건은 RKHS 내의 내적 연산으로 기대값 연산자를 표현함으로써 재구성되며, 이를 통해 다루기 쉬운 근사가 가능해진다.
• 원래의 다루기 어려운 확률적 최적 제어 문제는 제어 매개변수에 대한 선형 프로그램으로 이완되며, 표준 볼록 최적화 기법으로 해결할 수 있다.
• 이 방법은 안전성과 성능을 균형 잡는 랜덤화된 오픈 루프 제어 전략을 계산한다.
• 유한한 수의 확률적 오픈 루프 경로를 최적화하여 진정한 해를 근사함으로써 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 시스템 동역학이나 불확실성 분포의 매개변수 형태를 가정하지 않고도 데이터 기반 접근법이 연관 확률 제약 최적 제어 문제에 대해 확률적 제어 정책을 계산할 수 있는가?
• RQ2 관측된 데이터로부터 상태 경로 분포를 어떻게 근사할 수 있으며, 이를 통해 효율적인 최적화를 가능하게 할 수 있는가?
• RQ3 결과적으로 제어 매개변수에 대한 선형 프로그램이 비선형, 비마르코프 시스템과 비볼록 제약 조건 하에서 얼마나 안전하고 타당한 제어를 달성할 수 있는가?
• RQ4 기존의 모델 기반 근사나 보수적인 이완 기법(예: 불의 부등식)에 의존하는 방법과 비교해 볼 때, 이 방법은 어떠한가?
• RQ5 이 방법을 더 나은 커널 함수를 적극적으로 학습하거나 데이터 수집을 통해 임bedding 정확도를 향상시키는 데로 확장할 수 있는가?

주요 결과

• 제안된 방법은 목표 지점으로 향하고 장애물을 피하는 경로를 95%의 비율로 확보하는 혼합 확률적 제어 정책을 성공적으로 계산하였다.
• δ = 0.05일 때, 알고리즘은 더 안전한 통로 경로를 선호하는 제어 입력을 선택하며, δ를 증가시킬수록 위험도가 높은 중앙 통로에서 더 공격적인 선택을 한다. 이는 예상된 바와 일치한다.
• 선형 동역학을 가정하는 Ono(2016)의 기준 방법과 비교해, 동일한 비선형 시스템에 적용했을 때 제약 위반률을 10.2%에서 거의 0에 수렴하도록 감소시켰다.
• 문제가 선형 프로그램으로 이완되므로 계산 효율성이 유지되면서도 고확률로 제약 조건을 충족시키는 결과를 도출하였다.
• 비마르코프성 및 비선형 동역학에 대해 뛰어난 강건성을 보였으며, 선형성 또는 마르코프성을 가정하는 모델 기반 접근법보다 뛰어난 성능을 보였다.
• 결과적으로 커널 분포 임bedding가 복잡한 경로 분포를 정확하게 모델 자유형으로 근사할 수 있음을 확인하였으며, 이는 불확실성 하에서의 안전한 제어를 가능하게 한다.