[논문 리뷰] Turnpike and dissipativity in generalized discrete-time stochastic linear-quadratic optimal control

Jonas Schießl, Ruchuan Ou외 3명|arXiv (Cornell University)|2023. 09. 11.

Stochastic processes and financial applicationsEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 일반화된 이산시간 스토크라스틱 선형-제곱 최적 제어 문제를 위한 새로운 시간에 따라 변하는 $L^2$-기반 소산성 프레임워크를 제안한다. 여기서 결정론적 정상 상태는 정상적인 확률과정 쌍으로 대체된다. 이 소산성과 여러 종류의 터널피크 현상—확률에 대한 경로 기반, 분포 기반(워샤르슈타인 거리 통해), 그리고 모멘트 기반—사이의 동치성을 입증하며, 정상적인 쌍이 정상 최적화 문제의 유일한 해임을 증명한다.

ABSTRACT

We investigate different turnpike phenomena of generalized discrete-time stochastic linear-quadratic optimal control problems. Our analysis is based on a novel strict dissipativity notion for such problems, in which a stationary stochastic process replaces the optimal steady state of the deterministic setting. We show that from this time-varying dissipativity notion, we can conclude turnpike behaviors concerning different objects like distributions, moments, or sample paths of the stochastic system and that the distributions of the stationary pair can be characterized by a stationary optimization problem. The analytical findings are illustrated by numerical simulations.

연구 동기 및 목표

• 비영 평균 노이즈와 단계 비용 내 선형 항을 포함하는 일반화된 스토크라스틱 선형-제곱 최적 제어 문제에 대해 결정론적 터널피크 및 소산성 이론을 확장하기.
• 결정론적 평형 상태 대신 정상적인 확률과정 쌍을 사용하여 $L^2$-노름을 기반으로 한 새로운 시간에 따라 변하는 소산성 개념 정의하기.
• 이 소산성이 경로 기반의 확률적 터널피크 행동, 분포 기반(워샤르슈타인 거리 통해), 그리고 첫 번째 및 두 번째 모멘트 기반의 여러 유형의 터널피크 행동을 유도함을 보여주기.
• 정상적인 최적 해 쌍의 분포를 유일한 정상 최적화 문제로 특성화하기.
• 가우시안 및 비가우시안 노이즈 분포에 대해 이론적 결과를 수치 시뮬레이션을 통해 검증하기.

제안 방법

• 시스템 상태와 정상적인 확률과정 쌍 사이의 $L^2$-노름(평균 제곱 거리)을 기반으로 한 시간에 따라 변하는 소산성 개념을 제안하며, 결정론적 평형 상태 대신 사용한다.
• 일반적인 조건(비영 평균 노이즈 및 단계 비용 내 선형 항 포함) 하에서 일반화된 스토크라스틱 LQ OCP에 대해 저장 함수를 명시적으로 구성하고, 엄격한 소산성을 증명한다.
• 최적 궤적의 분포와 정상 쌍의 분포 사이의 거리를 측정하기 위해 2차 워샤르슈타인 거리를 사용하여 분포 기반의 터널피크 분석을 가능하게 한다.
• 정상적인 확률과정 쌍의 분포를 유일하게 특성화하는 정상 최적화 문제를 제안하며, 기존 문헌의 소산성 프레임워크와 연결한다.
• 가우시안 및 균일 분포의 i.i.d. 노이즈를 가진 이중 차원 시스템에 대해 수치 시뮬레이션을 수행하며, 다양한 수평선에 걸쳐 상태/제어 궤적, 워샤르슈타인 거리, 모멘트 변화를 비교한다.
• 기대값과 분산을 포함한 모멘트 변화가 비가우시안 노이즈의 경우에도 분석적으로 다룰 수 없는 경우에도 정상 분포의 모멘트로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 비결정론적 평형 상태 대신 정상적인 확률과정 쌍을 사용하여, 확률변수의 $L^2$-노름을 기반으로 한 시간에 따라 변하는 소산성 개념을 스토크라스틱 LQ 문제에 정의할 수 있는가?
• RQ2 이 새로운 소산성 개념이 비가우시안 노이즈와 비영 평균을 가진 경우에도 확률에 대한 경로 기반 터널피크 행동을 유도하는가?
• RQ3 스토크라스틱 설정에서 최적 해 쌍의 정상 분포가 정상 최적화 문제를 통해 유일하게 특성화될 수 있는가?
• RQ4 일반적인 노이즈 분포 하에서 터널피크 행동이 워샤르슈타인 거리로 측정된 분포 기반과 기대값 및 분산을 포함한 모멘트 기반으로 얼마나 잘 나타나는가?
• RQ5 이론적 소산성 및 터널피크 결과가 가우시안 가정을 초월하여 일차 및 이차 모멘트가 유한한 임의의 분포로 어떻게 일반화되는가?

주요 결과

• 제안된 $L^2$-기반 소산성 개념은 선형 항이 있는 단계 비용과 비영 평균 노이즈가 존재하는 일반화된 스토크라스틱 LQ OCP에서도 엄격히 만족된다.
• 정상 최적화 문제로 특성화된 정상적인 확률과정 쌍은 결정론적 평형 상태를 대체하는 일반화된 평형 상태로 기능한다.
• 확률에 대한 경로 기반 터널피크 행동이 입증되었다: 최적 궤적이 고정된 노이즈 실현값을 기반으로 한 시뮬레이션을 통해 시간의 대부분 동안 정상 쌍에 $L^2$-기준으로 가까이 유지된다.
• 최적 궤적의 분포와 정상 쌍의 분포 사이의 2차 워샤르슈타인 거리가 수평선이 길어질수록 0으로 수렴함을 확인하여 분포 기반의 터널피크 행동을 확인한다.
• 비가우시안 노이즈의 경우에도 일차 및 이차 모멘트가 유한한 한, 최적 궤적의 기대값과 분산이 정상 분포의 모멘트로 수렴한다.
• 수치 결과는 가우시안 및 균일 노이즈 분포 모두에서 동일한 터널피크 행동이 관찰됨을 확인하며, 가우시안 가정을 초월한 강건성을 보여준다.