[논문 리뷰] Ergodic BSDEs driven by Markov Chains

Samuel N. Cohen, Ying Hu|arXiv (Cornell University)|2012. 07. 24.

Stochastic processes and financial applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 리프시츠 조건을 만족하고 비교정리를 갖는 드라이버를 갖는 균일 에르고딕 가산 상태 마르코프 체인에 의해 구동되는 에르고딕 역확률미분방정식(EBSDEs)에 대해 유계 마르코프 해의 존재성과 유일성을 확립한다. 주요 기여는 기저 마르코프 체인의 균일 에르고디시티가 비율 행렬의 변형에 대해 유지됨을 증명함으로써 커플링 및 스플릿팅 기법을 통해 EBSDE 해를 구성할 수 있음을 보여주는 것이다. 이는 위험 회피적 에르고딕 제어 문제에의 응용을 가능하게 한다.

ABSTRACT

We consider ergodic backward stochastic differential equations, in a setting where noise is generated by a countable state uniformly ergodic Markov chain. We show that for Lipschitz drivers such that a comparison theorem holds, these equations admit unique solutions. To obtain this result, we show by coupling and splitting techniques that uniform ergodicity estimates of Markov chains are robust to perturbations of the rate matrix, and that these perturbations correspond in a natural way to EBSDEs. We then consider applications of this theory to Markov decision problems with a risk-averse average reward criterion.

연구 동기 및 목표

• 소음이 균일 에르고딕 가산 상태 마르코프 체인에 의해 생성될 때, 에르고딕 백분류 확률미분방정식(EBSDEs)에 대해 유계 마르코프 해의 존재성과 유일성을 확립하는 것.
• 마르코프 체인의 균일 에르고딕성 추정이 비율 행렬의 변형에 대해 강건한지, 이를 수량화할 수 있는지 입증하는 것.
• EBSDE와 비선형 기대의 관계를 활용하여 EBSDE 이론을 비선형, 위험 회피적 제어 문제로 확장하는 것.
• 균형 드라이버를 갖는 EBSDE를 사용하여 평균 보상 기준의 무한 수명 최적 제어 문제를 위험 회피 조건 하에서 해결하기 위한 프레임워크를 제공하는 것.

제안 방법

• 마르코프 체인의 비율 행렬에 대한 변형에 대해 균일 에르고딕성의 강건성을 분석하기 위해 커플링 및 스플릿팅 기법(넘멜린 스플릿팅)을 사용한다.
• 작은 변형이 균일 에르고딕성을 유지함을 수량화하기 위해 비율 행렬에 대한 새로운 부분순서를 도입한다.
• 할인된 BSDE 이론을 적용하여 시간 불변성과 마르코프 성질을 갖는 해를 도출하며, 이는 시간 수명이 무한으로 갈수록 에르고딕 극한으로 수렴함을 보장한다.
• 상태에 의존하는 비용과 비율 행렬의 변형을 조합한 드라이버 함수 f(x,z)를 구성함으로써 위험 회피 역학을 모델링하고, 비선형 기대 모델링을 가능하게 한다.
• Lipschitz 조건과 균형 드라이버 조건 하에서 해의 유일성을 보장하기 위해 BSDE의 비교정리를 적용한다.
• EBSDE 해를 최적 제어에 적용하여 장기 평균 비용 λ를 해의 구성요소로 식별하고, 가치 함수를 드라이버 f로부터 유도한다.

실험 결과

연구 질문

• RQ1 균일 에르고딕 마르코프 체인에 의해 구동되는 에르고딕 BSDE가 어떤 조건에서 고유한 유계 마르코프 해를 갖는가?
• RQ2 마르코프 체인의 비율 행렬에 대한 변형이 그의 균일 에르고딕성에 어떤 영향을 미치며, 이러한 강건성은 수량화할 수 있는가?
• RQ3 EBSDE는 비용 기능이 다수의 가능한 비율 행렬에 대한 비선형 기대를 포함하는 위험 회피적 에르고딕 제어 문제를 모델링하는 데 사용될 수 있는가?
• RQ4 EBSDE의 에르고딕 비용 λ와 제어된 마르코프 결정 문제에서의 최적 장기 평균 수익 간의 관계는 무엇인가?

주요 결과

• 리프시츠 조건을 만족하고 비교정리를 갖는 드라이버를 갖는 에르고딕 BSDE는 균일 에르고딕 가산 상태 마르코프 체인에 의해 구동될 경우 고유한 유계 마르코프 해를 갖는다.
• 기저 마르코프 체인의 균일 에르고딕성은 비율 행렬의 작은 변형에 대해 유지되며, 이는 비율 행렬에 대한 새로운 부분순서에 의해 수량화된다.
• EBSDE의 에르고딕 비용 λ는 관련된 마르코프 결정 문제에서 최적 장기 평균 비용과 정확히 일치하며, 이는 위험 회피 제어 문제의 해를 가능하게 한다.
• EBSDE의 해는 단일 비선형 벡터 방정식을 통해 계산될 수 있으며, 특정 경우에서는 명시적인 계산 가능성을 제공한다.
• 이 프레임워크는 비율 행렬에 대한 불확실성을 가족 형태의 행렬로 모델링함으로써 자연스럽게 위험 회피 제어를 수용한다. 이 때 드라이버 f는 이러한 행렬들에 대한 최악의 경우 또는 비선형 기대를 포착한다.
• 균형 드라이버를 통해 비선형 기대로의 확장이 가능하며, 추가적인 구조적 제약 조건 하에서 균일 에르고디시티 가정을 기하학적 에르고디시티로 약화시키더라도 이론은 강건하다.