[논문 리뷰] Linear Programming Formulations of Singular Stochastic Control Problems: Time-Homogeneous Problems

Thomas G. Kurtz, Richard H. Stockbridge|arXiv (Cornell University)|2017. 07. 28.

Economic theories and models참고 문헌 11인용 수 3

한 줄 요약

이 논문은 장기 평균 및 할인 기준 모두에서 상태 및 제어 과정의 기대 점유 시간을 나타내는 측도 위에 정의된 선형 프로그래밍 문제와 시간 동질적인 특성을 가진 특이 스토케스틱 제어 문제 간의 동치성을 확립한다. 주요 기여는 피드백 형태로 최적의 느슨한 제어를 엄밀하게 기술한 것으로, 제어 집합의 닫힘성 및 컴팩트성 조건 하에서 엄밀한 제어의 존재성을 증명하였다.

ABSTRACT

Conditions are established under which the optimal control of processes having both absolutely continuous and singular (with respect to time) controls are equivalent to linear programs over a space of measures on the state and control spaces. This paper considers long-term average and discounted criteria and includes budget and resource constraints. The linear programs optimize over measures representing the expected occupation measure of the state and absolutely continuous control processes and a similar expected occupation measure of the state and control when the singular action of the process occurs. The evolution of these processes is characterized through an adjoint equation which the measures must satisfy in relation to the absolutely continuous and singular generators of the process. Existence of optimal relaxed controls of feedback type are established in general while existence of an optimal form of strict control is proven under additional closedness and compactness conditions.

연구 동기 및 목표

• 특이 스토케스틱 제어 문제와 상태 및 제어 과정의 점유 측도 위에 정의된 선형 프로그래밍 간의 동치성을 확립하기.
• 시간 동질적인 동역학 하에서 특이 제어에 대한 선형 프로그래밍 공식화를 확장하기.
• 제어 집합의 닫힘성 및 컴팩트성 조건 하에서 최적의 엄밀한 제어의 존재성을 증명하기.
• 예산 및 자원 제약 조건을 선형 프로그래밍 프레임워크에 통합하기.
• 장기 평균 및 할인 기준 모두에 대해 최적의 피드백 제어를 기술하기.

제안 방법

• 테스트 함수가 C²_c(ℝ)에 속하는 경우에 대해 생성자 A(절대 연속)와 B(특이)가 작용하는 특이적이고 제어 가능한 마틴게일 문제로 제어 문제를 공식화하기.
• 두 가지 점유 측도 정의: 상태 과정에 대한 μ₀와 특이 제어 행동에 대한 μ₁로, 모두 기대 점유 시간을 나타냄.
• 마틴게일 조건을 만족시키기 위해 측도 μ₀와 μ₁를 생성자 A와 B에 연결하는 연환 방정식 유도하기.
• 측도 지지 집합과 총 질량에 대한 제약 조건을 만족시키며, cost 함수 c₀와 c₁을 μ₀와 μ₁에 대해 최소화하는 선형 프로그래밍 문제 구성하기.
• 비율 조정 기법(참고 문헌 3.4에서 제시된 방식과 유사)을 사용하여 총 질량이 1/α인 정규화된 초기 측도 ν₀를 사용해 할인 문제 재구성하기.
• 콤팩트성 및 닫힘 조건을 적용하여 느슨한 최적 제어를 엄밀한 피드백 제어로 상향 변환하기.

실험 결과

연구 질문

• RQ1 특이 스토케스틱 과정의 최적 제어가 점유 측도 위에 정의된 선형 프로그래밍 문제와 동치가 되는 조건은 무엇인가?
• RQ2 예산 및 자원 제약 조건은 어떻게 특이 제어 문제의 선형 프로그래밍 공식화에 통합될 수 있는가?
• RQ3 엄밀한 제어의 존재를 보장하는 조건은 무엇인가? 특히 느슨한 제어가 아닌 최적의 엄밀한 제어의 존재성에 대해.
• RQ4 시간 동질적인 동역학 하에서 최적 제어는 피드백 형태로 표현될 수 있는가?
• RQ5 장기 평균 및 할인 기준은 어떻게 콤팩트하게 지지된 측도를 갖는 동치 선형 프로그래밍 문제로 매핑되는가?

주요 결과

• 시간 동질적인 특이 확산 과정에 대한 최적 제어 문제는 상태 및 특이 제어 행동의 기대 점유를 나타내는 측도 μ₀와 μ₁ 위에 정의된 선형 프로그래밍 문제와 동치이다.
• 연환 방정식 제약 조건을 포함한 일반 조건 하에서 최적의 느슨한 피드백 제어의 존재성이 입증되었다.
• 제어 집합 K(x)가 닫힘성 및 볼록성 조건을 만족할 경우, 최적의 엄밀한 제어 u*가 존재하며, 이는 정리 4.5에서 보였다.
• 할인 문제의 경우, 총 질량이 1/α인 재조정된 초기 측도 ν₀를 사용하여 선형 프로그래밍 문제 재구성되었으며, 이는 유한한 비용을 보장한다.
• 재고 제어 예시에서는 c₁이 inf-compact가 아니어도, μ₁가 콤팩트하게 지지된 선형 프로그래밍 문제를 통해 최적 정책이 기술되었다.
• 이 접근은 Kurtz와 Stockbridge(1998) 및 Helmes와 Stockbridge(2007)의 이전 결과를 특이 제어와 제약 조건을 포함하도록 일반화하였다.