[논문 리뷰] Partially Observed Optimal Control for Mean-Field SDEs

Maonin Tang, Qingxin Meng|arXiv (Cornell University)|2016. 10. 08.

Stochastic processes and financial applications참고 문헌 10인용 수 6

한 줄 요약

이 논문은 상태와 관측 계수에 제어의 분포가 포함되고 관측 노이즈가 상태에 영향을 미칠 수 있는 비선형 평균장 SDE에 의해 지배되는 부분 관측 최적 제어 문제에 대해 확률적 최대원리(Stochastic Maximum Principle)를 수립한다. 주요 기여는 선형-제곱형 설정에서 리카티 방정식과 제곱 완성 기법을 사용하여 최적 제어의 쌍대 특성 및 명시적 상태 피드백 표현을 도출하는 것이다.

ABSTRACT

In this paper, we are concerned with a stochastic optimal control problem of mean-field type under partial observation, where the state equation is governed by the controlled nonlinear mean-field stochastic differential equation, moreover the observation noise is allowed to enter into the state equation and the observation coefficients may depend not only on the control process and but also on its probability distribution. Under standard assumptions on the coefficients, by dual analysis and convex variation, we establish the maximum principle for optimal control in a strong sense as well as a weak one, respectively. As an application, a partially observed linear quadratic control problem of mean-field type is studied detailed and the corresponding dual characterization and state feedback presentation of the partially observed optimal control are obtained by the stochastic maximum principles and the classic technique of completing squares.

연구 동기 및 목표

• 제어의 분포에 따라 변화하는 상태 및 관측 동역학을 갖는 부분 관측 하에서 평균장 유형의 스토크라스틱 최적 제어 문제를 다루는 것.
• 부분 관측 환경에서 관측 노이즈가 상태에 영향을 미칠 수 있도록, 최대원리를 평균장 설정으로 확장하는 것.
• 첨도 방정식과 길산로프의 정리를 사용하여 최적 제어의 쌍대 특성화를 도출하는 것.
• 선형-제곱형 케이스에서 리카티 방정식을 통해 부분 관측 하에서 최적 제어의 상태 피드백 표현을 제공하는 것.
• 부분 관측 하에서 전진-역행 평균장 시스템의 해와 최적 제어 간의 관계를 수립하는 것.

제안 방법

• 강한 형태와 약한 형태의 최적성 조건을 유도하기 위해 쌍대 분석과 볼록 변형을 적용한다.
• 확률 측도를 변환하고 부분 관측 설정을 다루기 위해 길산로프의 정리를 사용한다.
• 상태 및 관측이 분포에 의존하는 평균장 유형 문제에 대해 첨도 역행 스토크라스틱 미분 방정식(Adjoint BSDEs)을 유도한다.
• 비용 기능에 제곱 완성 기법을 적용하여 최적 제어의 명시적 피드백 형태를 도출한다.
• 선형-제곱형 케이스에서 최적 제어의 상태 피드백 표현을 위해 리카티 방정식을 푸는다.
• 첨도 과정의 조건부 기대값을 사용하여 최적 제어의 쌍대 특성화를 수립한다.

실험 결과

연구 질문

• RQ1 관측 노이즈가 상태에 영향을 미치고 관측 계수에 제어의 분포가 포함되는 부분 관측 하에서 최대원리를 평균장 유형 문제로 어떻게 확장할 수 있는가?
• RQ2 관측 노이즈가 상태에 영향을 미치고 관측 계수가 제어의 분포에 의존할 경우, 최적성의 필요 조건은 무엇인가?
• RQ3 부분 관측 평균장 설정에서 최적 제어의 쌍대 특성화를 도출할 수 있는가?
• RQ4 선형-제곱형 평균장 문제에서 부분 관측 하에서 최적 제어를 어떻게 상태 피드백 형태로 표현할 수 있는가?
• RQ5 리카티 방정식은 선형-제곱형 케이스에서 최적 제어와 비용을 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 최적 제어는 최대원리의 강한 형태와 약한 형태를 통해 유도된 첨도 과정의 조건부 기대값을 포함하는 쌍대 표현을 갖는다.
• 선형-제곱형 케이스에서는 두 개의 리카티 방정식의 해를 포함하는 상태 피드백 법칙으로 최적 제어가 명시적으로 주어진다.
• 리카티 방정식 (4.20)과 (4.21)은 피드백 이득의 진화를 지배하며, 각각 최종 조건 M₁과 M₁+M₂를 갖는다.
• 최소 비용은 ⟨Π(0)x, x⟩로 주어지며, 여기서 Π(0)은 시간 0에서 두 번째 리카티 방정식의 해이다.
• 상태 피드백 표현 (4.18)은 제어를 두 부분으로 분리한다: 하나는 관측에 조건부된 상태의 기대값에 의존하고, 다른 하나는 무조건적 기대값에 의존한다.
• 유도 과정은 비용 기능에 제곱 완성 기법을 적용하고, 부분 관측 하에서 기대 비용을 최소화하기 위해 캐리안풀-스트리벨 공식을 적용한다.