[논문 리뷰] Risk-Sensitive Mean-Field-Type Control

Alain Bensoussan, Boualem Djehiche외 2명|arXiv (Cornell University)|2017. 01. 01.

Stochastic processes and financial applications참고 문헌 1인용 수 5

한 줄 요약

이 논문은 상태, 제어 및 초기 분포의 법칙에 따라 계수와 비용 기능이 변화하는 확률적 미분 방정식을 위한 위험 감수성 평균장 유형 최적 제어 프레임워크를 개발한다. 이중 해밀토니안-자코비-벨만 및 포커-플랑크 시스템을 사용하여, 스토크라스틱 최대 원리에 기반해 벨만 이중 함수와 양방향 과정을 연결하는 무한차원 최적성 방정식을 유도하며, 선형-지수-제곱형의 경우 명시적 해를 도출하고, 작은 위험 감수성 매개변수에 대해 점근적 근사치를 제공한다.

ABSTRACT

We study risk-sensitive optimal control of a stochastic differential equation (SDE) of mean-field type, where the coefficients are allowed to depend on some functional of the law as well as the state and control processes. Moreover the risk-sensitive cost functional is also of mean-field type. We derive optimality equations in infinite dimensions connecting dual functions associated with Bellman functional to the adjoint process of the Pontryagin maximum principle. The case of linear-exponentiated quadratic cost and its connection with the risk-neutral solution is discussed.

연구 동기 및 목표

• 동역학과 비용이 상태 및 제어의 법칙에 의존하는 평균장 유형 시스템으로 위험 감수성 제어를 확장한다.
• 스토크라스틱 최대 원리를 사용하여 무한차원 공간에서 벨만 함수와 양방향 과정 사이의 이중성을 수립한다.
• 선형-지수-제곱형의 경우를 분석하고, 작은 위험 감수성 매개변수에 대해 명시적 해와 근사치를 도출한다.
• 위험 감수성 최적성과 위험 중립적 극한이 위험 감수성 인덱스 α → 0으로 갈수록 어떻게 연결되는지 분석한다.

제안 방법

• 위험 감수성 평균장 제어를 위한 이중 해밀토니안-자코비-벨만(dHJB) 및 포커-플랑크(FP) 방정식 시스템을 도입한다.
• 위험 감수성 비용을 종단 상태 기능으로 변환하기 위해 보조 과정 z(t) = ∫₀ᵗ f(x(s),v(s))ds를 도입하여 상태 증강 기법을 사용한다.
• 증강된 상태 (x(t), z(t))에 대해 동적 프rogramming을 적용하여 값 함수 Φα(x,z,t)에 대한 벨만 방정식을 도출한다.
• PDE를 해결 가능한 형태로 줄이기 위해 Φα(x,z,t) = e^{αz} uα(x,t)의 변수 분리 조건을 도입한다.
• 이토의 공식을 Dxu / Dzu의 비율에 적용하여, π(t)와 ω(t)에 대한 리카티 유형 방정식을 유도한 후, 양방향 과정 (p,q,l)을 도출한다.
• 법칙 의존성 매개변수 β가 작은 경우를 위해 펌베이션 앤사우트 uβ(x,z,t) = e^{αβy(T)} ˜u(x,z,t)를 사용하여 점근적 근사치를 개발하며, ˜u는 ˆu로 근사된다.

실험 결과

연구 질문

• RQ1 계수와 비용 기능이 상태 및 제어 과정의 법칙에 의존할 경우, 위험 감수성 평균장 제어는 어떻게 공식화될 수 있는가?
• RQ2 스토크라스틱 최대 원리 프레임워크 내에서, 이중 벨만 함수와 양방향 과정을 연결하는 무한차원 최적성 시스템은 무엇인가?
• RQ3 위험 감수성 지수 α → 0으로 갈수록 위험 감수성 해는 위험 중립 해로 수렴하는가?
• RQ4 작은 법칙 의존성(β가 작음) 조건 하에서 선형-지수-제곱형의 경우 명시적 해와 근사치는 무엇인가?
• RQ5 π(t)와 ω(t)에 대한 리카티 방정식은 위험 감수성 설정에서 최적 제어 및 상태 동역학을 어떻게 지배하는가?

주요 결과

• 위험 감수성 값 함수는 vα = Dzu(0,x₀,0)/α = χ(0)/α로 명시적으로 주어지며, 여기서 χ(0)은 이중 과정의 초기값이다.
• 최적 제어는 비율 p = Dxu / Dzu로 특징지어지며, 이는 π(t)와 ω(t)에 의해 구동되는 확률적 미분 방정식을 만족한다.
• 기대 상태 y(t) = E[x(t)]는 ẏ = (a − b²π)y − βb²ωχ(0)E[χ⁻¹(t)]를 만족하며, 이는 위험 감수성과 법칙 구조에 의존함을 보여준다.
• β가 작은 경우, 값 함수는 ˆu(x,z,t) = u₀(x,z,t) + αβxω(t)λ(T)로 근사되며, 여기서 ω(t) = exp(∫ₜᵀ [a − b²Π(s)]ds)로 주어져 계산의 용이성을 향상시킨다.
• 법칙 의존성 측정값 µ의 근사치는 ˆµ가 (a − b²Π)x의 비율과 b²Π²x²의 분산을 갖는 포커-플랑크 방정식을 만족함으로써 지배되며, 이는 E[x(t)]의 명시적 계산을 가능하게 한다.
• t = T에서 점근적 근사치는 일致하며, 오차 항은 O(β²)이므로, 작은 β에 대해 펌베이션 접근법의 타당성을 검증한다.