[논문 리뷰] Classical Adjoints for Ergodic Stochastic Control

Samuel N. Cohen, Victor Fedyashov|arXiv (Cornell University)|2015. 11. 13.

Stochastic processes and financial applications참고 문헌 9인용 수 3

한 줄 요약

이 논문은 무한 시간 주기의 수반 역확률미분방정식(역확률미분방정식, BSDE)의 해가 존재하는 것과 에르고딕 확률제어에서 제어된 확산과정의 강한 산산성 사이에 강력한 이중성을 수립한다. 강한 산산성이 성립하면 비가역성, 강한 펠러 성질, 지수적 에르고딕성이 유도되며, 이는 드리프트와 볼라티리티를 모두 제어하는 강한 설정에서 최적성에 대한 수반 BSDE의 적용을 정당화한다.

ABSTRACT

In this paper we consider ergodic optimal control of a diffusion process $\{X^u_t\}_{t \geq 0}$, taking values in $\bR^n$, where both drift and volatility are controlled. We establish a novel strong duality between the existence of a unique solution to the infinite horizon adjoint BSDE and strong dissipativity of $X^u$. We then proceed to show that the latter implies irreducibility, the strong Feller property and exponential ergodicity. We conclude by discussing the connection with ergodic BSDEs.

연구 동기 및 목표

• 드리프트와 볼라티리티를 모두 제어하는 에르고딕 확률제어 문제를 다루며, 측도 변화에 기반한 약한 설정을 넘어서고자 한다.
• 무한 시간 주기의 수반 BSDE의 해가 존재하는 것과 정방향 과정의 에르고딕 성질 사이에 엄밀한 연결 고리를 수립하고자 한다.
• 드리프트의 강한 산산성이 제어된 확산과정의 비가역성, 강한 펠러 성질, 지수적 에르고딕성을 보장함을 증명하고자 한다.
• 수반 BSDE 접근법이 드리프트와 볼라티리티를 모두 제어하는 강한 설정에서도 유효함을 보여주고자 한다.
• 에르고딕 BSDE의 한계를 명확히 하고, 볼라티리티가 제어될 경우 완전한 최적성 조건을 포착하지 못하는 이유를 밝혀내고자 한다.

제안 방법

• 에르고딕 제어를 위한 새로운 무한 시간 주기 수반 BSDE를 제안하며, 이는 확률적 최대원리 프레임워크에서 유도된다.
• 드리프트에 대한 강한 산산성 조건을 적용: ⟨b(t,x,u)−b(t,y,u),x−y⟩ ≤ −μ‖x−y‖² for μ>0.
• 그로넬발의 보조정리와 안정성 추정을 활용하여 제어 하에서 정방향 과정의 모멘트 유계를 확립한다.
• 이중성에 의해 수반 BSDE의 해 존재성과 정방향 과정의 에르고디시티를 연결한다.
• 점차적 할인 방법을 적용하여 에르고딕 BSDE의 해를 구성하고 장기 평균 비용과 연결한다.
• 주기성 가정(가정 5)을 활용하여 불변 측도의 존재를 보장하고, 에르고딕 평균 λᵘ를 장기 비용으로 식별한다.

실험 결과

연구 질문

• RQ1 드리프트와 볼라티리티를 모두 제어할 때, 에르고딕 제어에서 수반 BSDE가 존재하는 조건은 무엇인가?
• RQ2 수반 BSDE의 해 존재성은 정방향 확산과정의 에르고딕 성질과 어떻게 관련이 있는가?
• RQ3 드리프트의 강한 산산성이 일반 제어 설정에서 지수적 에르고딕성, 비가역성, 강한 펠러 성질을 유도할 수 있는가?
• RQ4 볼라티리티가 제어될 경우 표준 에르고딕 BSDE 접근법이 부족한 이유는 무엇인가?
• RQ5 수반 BSDE의 해는 에르고딕 제어 문제에서 장기 평균 비용과 어떻게 연결되는가?

주요 결과

• 무한 시간 주기 수반 BSDE의 해 존재성은 모든 제어 하에서 정방향 과정의 강한 산산성과 동치이다.
• 강한 산산성이 제어된 확산과정의 비가역성과 강한 펠러 성질을 보장한다.
• 강한 산산성은 지수적 에르고딕성을 초래하며, 이는 과정의 법이 지수적 속도로 그 불변 측도로 수렴함을 의미한다.
• 장기 평균 비용 λᵘ(에르고딕 제어 문제의 최적값)는 주기성 가정 하에서 에르고딕 BSDE의 해 λᵘ 와 일치한다.
• 수반 BSDE 접근법은 볼라티리티가 제어될 경우에도 강한 설정에서 유효하며, 측도 변화에 기반한 약한 설정과는 달리 적용 가능하다.
• 논문은 볼라티리티가 제어될 경우 에르고딕 BSDE만으로는 완전한 최적성 조건을 포착하지 못함을 보여주며, 볼라티리티 제어 하에서 마팅게일 표현이 존재하지 않기 때문이다.