[논문 리뷰] Optimality Conditions in Variational Form for Non-Linear Constrained Stochastic Control Problems

Laurent Pfeiffer|arXiv (Cornell University)|2018. 02. 12.

Optimization and Variational Analysis참고 문헌 30인용 수 11

한 줄 요약

이 논문은 상태의 최종 확률분포에 따라 비선형 제약이 있는 확률적 제어 문제에 대해 변분 최적성 조건을 수립한다. 도달 가능한 분포의 볼록성 성질을 이용하여 변분부등식 조건을 유도하고, 각 반복에서 동적 프rogramming를 통해 표준 확률적 제어 문제를 해결하는 보완 라그랑주 방법을 제안한다. 두 가지 학술적 예제를 통해 검증되었다.

ABSTRACT

Optimality conditions in the form of a variational inequality are proved for a class of constrained optimal control problems of stochastic differential equations. The cost function and the inequality constraints are functions of the probability distribution of the state variable at the final time. The analysis uses in an essential manner a convexity property of the set of reachable probability distributions. An augmented Lagrangian method based on the obtained optimality conditions is proposed and analyzed for solving iteratively the problem. At each iteration of the method, a standard stochastic optimal control problem is solved by dynamic programming. Two academical examples are investigated.

연구 동기 및 목표

• 상태의 최종 확률분포에 따라 비선형 제약이 있는 비선형 제약이 있는 확률적 제어 문제의 필요 최적성 조건을 유도하는 것.
• 확률적 제어 문제에서 분포 제약의 구조를 반영한 변분부등식 최적성 공식을 수립하는 것.
• 유도된 최적성 조건에 기반한 반복적 보완 라그랑주 방법을 개발하고 분석하는 것.
• 각 하위문제를 동적 프로그래밍로 해결할 수 있는 표준 확률적 최적 제어 문제로 환원함으로써 수렴성과 실용적 해법을 보장하는 것.
• 위험 회피 및 분산 제약이 있는 제어 목표를 포함하는 학술적 예제를 통해 접근법을 검증하는 것.

제안 방법

• 비용 함수 $ F(m_T) $ 와 부등식 제약 $ G(m_T) \leq 0 $ 을 최소화하는 방식으로 제어 문제를 최종 분포 $ m_T $ 에 대해 수식화하며, 여기서 $ F $ 와 $ G $ 는 분포 공간 위의 비선형 함수이다.
• 도달 가능한 확률분포 집합의 볼록성 성질을 활용하여 변분부등식 형태의 필요 최적성 조건을 도출한다.
• 이중 변수를 반복적으로 갱신하고, 동적 프로그래밍을 사용하여 비제약 확률적 제어 문제의 순서를 해결하는 보완 라그랑주 방법을 도입한다.
• Wasserstein-1 거리($ d_1 $-거리)의 이중 표현을 사용하여 분포 기반 함수의 수렴성과 연속성을 분석한다.
• $ \mathcal{P}_1(\mathbb{R}^n) $ 에서의 컴팩트성 및 연속성 결과, 특히 프로호로프 정리와 모멘트 유계 조건을 활용하여 최적화 경로의 잘 정의됨을 보장한다.
• 피드백 제어 하에서 상태 분포의 진화를 기술하기 위해 포커-플랑크 방정식을 활용하여 분포 역학의 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형이고 분포 제약이 있는 확률적 제어 문제의 해를 특징짓는 변분 최적성 조건은 무엇인가?
• RQ2 최종 분포의 도달 가능한 집합의 볼록성은 어떻게 최적성의 필요 조건을 도출하는 데 활용될 수 있는가?
• RQ3 비선형이고 분포 제약이 있는 문제를 반복적으로 해결할 수 있는 보완 라그랑주 방법을 설계할 수 있는가?
• RQ4 유도된 최적성 조건 하에서 제안된 반복적 방법에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ5 분포 기반 함수의 연속성 및 컴팩트성 성질은 제어 문제의 해법 가능성과 안정성에 어떻게 영향을 미치는가?

주요 결과

• 논문은 최종 시간에서의 분포 목적이 있는 비선형 제약이 있는 확률적 제어 문제에 대해 변분부등식을 필수 최적성 조건으로 수립한다.
• 도달 가능한 최종 분포 집합이 볼록성 성질을 지닌다는 것이 입증되었으며, 이는 최적성 조건 유도에 필수적이다.
• 보완 라그랑주 방법이 제안되었으며, 각 반복에서 동적 프로그래밍을 통해 표준 확률적 제어 문제를 해결함으로써 유도된 조건 하에서 수렴성을 보장한다.
• 두 가지 학술적 예제를 통해 방법의 적용 가능성이 검증되었으며, 위험 회피 및 분산 제약이 있는 제어 문제에의 적용 가능성을 보여준다.
• $ \mathcal{P}_1(\mathbb{R}^n) $ 에서 선형 함수의 연속성이 $ L^p $-모멘트 유계 조건 하에서 증명되었으며, 이는 최적화 경로의 안정성을 보장한다.
• $ d_1 $-위상에서 유계 $ L^p $-모멘트 부분집합의 컴팩트성이 확립되어 수렴 분석 및 수치적 구현을 뒷받침한다.