[논문 리뷰] Optimal Covariance Steering for Discrete-Time Linear Stochastic Systems

Fengjiao Liu, George Rapakoulias외 1명|arXiv (Cornell University)|2022. 11. 01.

Mathematical and Theoretical Epidemiology and Ecology Models인용 수 4

한 줄 요약

이 논문은 이산시간 선형 스토케스틱 시스템의 상태 공분산을 원하는 종단 분포로 이끌기 위해 제곱형 비용 함수를 사용할 때 최적 제어 법칙의 존재성과 유일성을 확립한다. 최적 평균 및 공분산 이송 문제는 분리 가능하며, 손실이 없는 볼록 리라벨리제이션을 통해 반정형 프로그래밍(SDP)으로 재구성된 정확한 해를 계산할 수 있음을 보여주며, 이는 최적 제어 법칙의 효율적이고 정확한 계산을 가능하게 한다.

ABSTRACT

In this paper, we study the optimal control problem for steering the state covariance of a discrete-time linear stochastic system over a finite time horizon. First, we establish the existence and uniqueness of the optimal control law for a quadratic cost function. Then, we show the separation of the optimal mean and the covariance steering problems. We also develop efficient computational methods to solve for the optimal control law, which is identified as the solution to a semi-definite program. The effectiveness of the proposed approach is demonstrated through numerical examples. In the process, we also obtain some novel theoretical results for a matrix Riccati difference equation, which may be of independent interest.

연구 동기 및 목표

• 이산시간 선형 스토케스틱 시스템에서 유한시간 영역의 최적 공분산 이송을 위한 최적 제어 법칙의 존재성과 유일성을 확립하기 위해.
• 제곱형 비용 함수 하에서 최적 평균 및 공분산 이송 문제의 분리 가능성을 보여주기 위해.
• 볼록 최적화를 통한 최적 제어 문제의 계산 효율적인 해법을 개발하기 위해.
• 비볼록 공분산 이송 문제의 손실이 없는 볼록 리라벨리제이션을 통해 반정형 프로그래밍(SDP)을 통해 정확한 최적 해를 도출할 수 있음을 보여주기 위해.
• 해결 과정에서 나타나는 행렬 리카티 차분 방정식의 성질에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 과정 노이즈가 있는 이산시간 선형 스토케스틱 시스템에서 제곱형 비용 함수를 갖는 최적 제어 문제로 유한시간 영역의 공분산 이송 문제를 수립하기 위해.
• 해밀턴-자코비-벨리만 방정식에서 유도된 행렬 리카티 차분 방정식 분석을 통해 최적 제어 법칙의 존재성과 유일성을 증명하기 위해.
• 제약 조건이 없을 경우의 독립성을 보여줌으로써 최적 평균 및 공분산 이송 문제를 분리함으로써 분리 가능함을 입증하기 위해.
• 손실이 없는 볼록 리라벨리제이션 기법을 통해 원래의 비볼록 최적화 문제를 볼록 반정형 프로그래밍(SDP)으로 재구성하기 위해.
• 강한 이중성과 엄밀한 타당성을 사용하여 SDP의 최적 해가 원래의 비볼록 문제의 최적 해와 정확히 일치함을 증명하기 위해.
• 두 가지 해법을 구현하고 비교하기 위해: 직접 비선형 최적화를 위한 뉴턴 방법과 YALMIP 및 MOSEK를 사용한 SDP 기반 볼록 최적화.

(a) Newton’s method.

실험 결과

연구 질문

• RQ1 이산시간 선형 스토케스틱 시스템의 상태 공분산을 유한 시간 영역 내에서 주어진 종단 공분산으로 이끄는 최적 제어 법칙이 존재하는가?
• RQ2 제곱형 비용 함수 하에서 최적 제어 법칙은 유일한가?
• RQ3 최적 평균 및 공분산 이송 문제는 독립적으로 해결될 수 있는가?
• RQ4 비볼록 공분산 이송 문제는 볼록 리라벨리제이션을 통해 정확히 해결될 수 있는가?
• RQ5 최적 제어 해에서 나타나는 행렬 리카티 차분 방정식의 구조적 및 분석적 성질은 무엇인가?

주요 결과

• 유한 시간 영역 내 이산시간 선형 스토케스틱 시스템에서 최적 공분산 이송을 위한 최적 제어 법칙은 주어진 제곱형 비용 함수 하에서 존재하며, 유일하다.
• Chance 제약 조건이 없을 경우 최적 평균 및 공분산 이송 문제는 분리 가능하여 독립적인 최적화가 가능하다.
• 원래의 비볼록 공분산 이송 문제에 대해 손실이 없는 볼록 리라벨리제이션을 적용할 수 있으며, 이를 통해 유도된 반정형 프로그래밍(SDP)의 최적 해는 원래 문제의 최적 해와 정확히 일치한다.
• 제안된 SDP 수식은 표준 볼록 최적화 솔버를 사용하여 최적 제어 법칙을 정확하고 효율적으로 계산할 수 있게 하며, 뉴턴 방법에 비해 고차원 시스템에서의 확장성도 입증되었다.
• 수치 결과는 SDP 기반 해법과 뉴턴 방법이 동일한 최적 궤도, 평균 경로, 공분산 타원을 도출함을 확인하여 이론적 주장의 타당성을 검증한다.
• 최적 제어를 지배하는 행렬 리카티 차분 방정식에 대한 새로운 이론적 성질를 도출하였으며, 제어 이론 분야에서 별도의 관심을 끌 수 있다.

(b) SDP with lossless convex relaxation.