[논문 리뷰] Analysis and Control of Stochastic Systems using Semidefinite Programming over Moments

Andrew Lamperski, Khem Raj Ghusinga외 1명|arXiv (Cornell University)|2017. 02. 01.

Probabilistic and Robust Engineering Design참고 문헌 20인용 수 4

한 줄 요약

이 논문은 이토성 확산 시스템에서 통계 모멘트를 구속하고 스토크라스틱 최적 제어 문제를 해결하기 위한 통합된 볼록 최적화 프레임워크를 제시한다. 선형 보조 시스템에서 고차 모멘트를 제어 입력으로 간주함으로써, 선형 행렬부등식(LMI) 제약 조건을 가진 볼록 최적 제어 문제를 구성하여 통계 모멘트와 최적 비용의 증명 가능한 상한 및 하한을 계산한다. 이는 보장된 부분최적성 갭과 실현 가능한 제어기 설계를 가능하게 한다.

ABSTRACT

This paper develops a unified methodology for probabilistic analysis and optimal control design for jump diffusion processes defined by polynomials. For such systems, the evolution of the moments of the state can be described via a system of linear ordinary differential equations. Typically, however, the moments are not closed and an infinite system of equations is required to compute statistical moments exactly. Existing methods for stochastic analysis, known as closure methods, focus on approximating this infinite system of equations with a finite dimensional system. This work develops an alternative approach in which the higher order terms, which are approximated in closure methods, are viewed as inputs to a finite-dimensional linear control system. Under this interpretation, upper and lower bounds of statistical moments can be computed via convex linear optimal control problems with semidefinite constraints. For analysis of steady-state distributions, this optimal control problem reduces to a static semidefinite program. These same optimization problems extend automatically to stochastic optimal control problems. For minimization problems, the methodology leads to guaranteed lower bounds on the true optimal value. Furthermore, we show how an approximate optimal control strategy can be constructed from the solution of the semidefinite program. The results are illustrated using numerous examples.

연구 동기 및 목표

• 정확한 모멘트 방정식이 무한하고 닫히지 않는 다항 동역학을 갖는 스토크라스틱 시스템에서 통계 모멘트와 최적 제어 정책을 계산하는 데 도전하는 것.
• 기존의 모멘트 폐쇄 방법이 점추정치만 제공하는 데 비해, 모멘트에 대한 증명 가능한 상한 및 하한을 제공함으로써 이를 극복하는 것.
• 볼록 최적화 프레임워크를 기반으로 한 선형대칭정수계획법(SDP)을 통해 스토크라스틱 분석과 최적 제어 문제를 통합적으로 다루는 것.
• 최적 제어 비용에 대한 보장된 하한을 제공하고, 정량화된 최적성 갭을 갖는 실현 가능한 제어기 설계를 수행하는 것.
• 기존 방법을 점프 프로세스와 정적 상태 분석을 포함하도록 확장하여 금융, 생물학 및 공학 분야의 실제 시스템에 더 넓은 적용 가능성을 확보하는 것.

제안 방법

• 다항 이토성 점프 확산 과정의 통계 모멘트의 진화를 유한차원 선형 제어 시스템으로 모델링하며, 고차 모멘트를 보조 입력으로 간주한다.
• 모멘트 경계 설정 및 최적 제어 문제를 선형행렬부등식(LMI) 제약 조건을 가진 볼록 선형 최적 제어 문제로 공식화하여 선형대칭정수계획법(SDP)을 통해 해결할 수 있도록 한다.
• 정적 상태 분석을 위해 동적 최적 제어 문제를 정적 선형대칭정수계획법(SDP)으로 축소함으로써 정적 상태 모멘트에 대한 경계를 효율적으로 계산할 수 있도록 한다.
• SDP 해를 이용해 스토크라스틱 최소화 문제의 최적 값에 대한 증명 가능한 하한을 유도함으로써 진짜 최적 비용과의 보장된 갭을 제공한다.
• 다항 기저 함수를 사용하여 최적 제어 법칙을 근사함으로써 SDP 해에서 실현 가능한 제어 정책을 구성하며, 제약 조건은 합의 제곱(SOS) 기법을 통해 강제한다.
• 합의 제곱 표현에서 유도된 벡터 부등식 제약 조건을 사용하여 상태 및 입력 변수의 비음성과 같은 물리적 제약 조건을 강제한다.

실험 결과

연구 질문

• RQ1 볼록 최적화를 사용하여 다항 이토성 점프 확산 과정의 통계 모멘트에 대한 증명 가능한 상한 및 하한을 효율적으로 계산할 수 있는가?
• RQ2 어떤 사전 가정 없이도 무한한 모멘트 방정식 계층을 어떻게 근사할 수 있는가?
• RQ3 동일한 볼록 최적화 프레임워크를 사용하여 스토크라스틱 분석과 스토크라스틱 최적 제어 문제를 통합적으로 해결할 수 있는가?
• RQ4 모멘트 계층의 차수를 높일수록 경계의 수렴 행동은 어떻게 되는가?
• RQ5 선형대칭정수계획법(SDP)의 해에서 성능 보장을 정량화한 실현 가능한 제어기를 합성할 수 있는가?

주요 결과

• 이 방법은 스토크라스틱 제어 문제의 최적 비용에 대한 증명 가능한 하한을 계산하며, 모멘트 계층의 차수를 높일수록 SDP 타협 해에서 유도된 하한이 진짜 최적 값에 수렴한다.
• 예제 5(제어가 있는 점프 확산)에서 제어기 근사의 차수 2에서 비용의 하한이 안정화되며, 5000번의 시뮬레이션 평균에서 실현 가능한 제어기의 비용은 좁은 상한에 수렴한다.
• 어업 관리 예제에서 총 수확의 하한은 1.62로 추정되었고(SDP에서 유도된 실현 가능한 제어기의 시뮬레이션 결과), 상한은 2.12였으며, 진짜 최적 수확은 [1.62, 2.12] 내에 있을 가능성이 높다.
• SDP 해에서 유도된 제어 전략은 수명 주기의 끝에 도달할 무렵 인구 유지가 거의 일정하고 이후 멸종되는 양상을 보이며, 최적 이벤트 트리거드 행동과 일치한다.
• 이 방법은 동역학의 확산 및 점프 성분을 모두 효과적으로 처리하며, 제어 입력과 상태 제약 조건이 있는 시스템으로 자연스럽게 확장 가능하다.
• SDP 공식화는 합의 제곱 제약 조건을 통해 상태 및 입력 변수의 비음성을 강제하여 물리적으로 의미 있는 해를 보장한다.