[논문 리뷰] Lyapunov Conditions for Differentiability of Markov Chain Expectations: the Absolutely Continuous Case

Chang Han Rhee, Peter W. Glynn|arXiv (Cornell University)|2017. 07. 12.

Markov Chains and Monte Carlo Methods참고 문헌 10인용 수 3

한 줄 요약

이 논문은 일반 상태공간 마르코프 체인의 성능 측정치—정적 및 무작위 수명 할인 기대치와 같은—모델 매개변수에 대한 미분 가능성을 보장하는 쉽게 검증할 수 있는 라플라스 타입 조건을 수립한다. 이는 제약 조건이 강한 모멘트 또는 기하학적 에르고드릭성 가정 없이도 실용적인 계산과 민감도 분석을 가능하게 하는 확률적 표현을 제공한다.

ABSTRACT

We consider a family of Markov chains whose transition dynamics are affected by model parameters. Understanding the parametric dependence of (complex) performance measures of such Markov chains is often of significant interest. The derivatives of the performance measures w.r.t. the parameters play important roles, for example, in numerical optimization of the performance measures, and quantification of the uncertainties in the performance measures when there are uncertainties in the parameters from the statistical estimation procedures. In this paper, we establish conditions that guarantee the differentiability of various types of intractable performance measures---such as the stationary and random horizon discounted performance measures---of general state space Markov chains and provide probabilistic representations for the derivatives.

연구 동기 및 목표

• 모델 매개변수에 의존하는 복잡한 마르코프 체인 성능 측정치의 미분 가능성을 다루는 데 목적이 있으며, 특히 전통적 방법이 제약 조건으로 인해 실패하는 설정에서의 문제를 해결한다.
• 일반 상태공간 마르코프 체인에서 정적 및 무작위 수명 할인 성능 측정치의 미분 가능성을 보장하는 충분조건을 제공한다.
• 모의 실험과 수치 계산에 적합한 확률적 표현을 유도한다.
• 이전의 가정—특히 모멘트 조건과 기하학적 에르고드릭성에 대한 것—을 완화함으로써 더 넓은 범주에 걸쳐 적용 가능성을 넓힌다.
• 통계적 추정 불확실성 하에서 기울기 계산을 가능하게 하여 불확실성 정량화와 최적화를 지원한다.

제안 방법

• 전이 커널과 성능 함수에 대한 충분한 라플라스 타입 조건을 유도하여 매개변수 θ에 대한 기대값의 미분 가능성을 보장한다.
• 기준 마르코프 체인과 변형된 버전을 이용한 커플링 추론을 통해 매개변수 변화에 따른 기대값의 차이를 제어한다.
• 마팅게일 표현과 절단 기법을 적용하여 θ와 θ+h 하에서의 성능 측정치 간의 차이를 유계로 제한한다.
• 완비성과 연산자의 수렴을 보장하기 위해 가중 Lp 및 연산자 노름 공간(Lw, Lw, Mw)을 도입한다.
• 측정치 기반의 미분 프레임워크를 활용하여 스코어 함수와 성능 기능을 포함한 기댓값으로서의 도함수 표현을 도출한다.
• 도함수는 가능성이 있는 가능도 비율과 성능 증분을 포함한 기댓값으로 표현될 수 있음을 입증하여, 모의 기반 추정이 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반 상태공간 마르코프 체인의 성능 측정치가 그 기저 매개변수에 대해 어떤 조건에서 미분 가능할 수 있는가?
• RQ2 정적 또는 무작위 수명 할인 성능 측정치의 도함수는 모의 실험과 계산에 적합한 형태로 표현될 수 있는가?
• RQ3 기하학적 에르고드릭성이 없을 경우, 미분 가능성을 보장하기 위해 필요한 최소한의 모멘트 또는 에르고드릭성 가정은 무엇인가?
• RQ4 불확실성 정량화와 매개변수 추정 오차 하에서 최적화를 가능하게 하기 위해 도함수를 어떻게 확률적으로 표현할 수 있는가?
• RQ5 장기적인 경로 기반 행동을 복잡하게 검증하지 않고도, 모델 빌딩 블록을 이용해 미분 가능성 조건을 검증할 수 있는가?

주요 결과

• 논문은 유한한 지수 모멘트나 기하학적 에르고드릭성이 없더라도 쉽게 검증할 수 있는 라플라스 타입 조건 하에서 성능 측정치의 미분 가능성이 성립함을 입증한다.
• 무작위 수명 할인 성능 측정치의 도함수는 기댓값에서 O(hx^p)로 표현되며, 이는 모멘트 제어 및 절단 기법을 통해 유도된 유계로 표현된다.
• 정적 측도의 도함수는 스코어 함수와 성능 증분을 포함한 기댓값으로 표현되며, 이는 모의 기반 추정이 가능하게 한다.
• 가중 연산자 공간 Lw, Lw, Mw의 완비성이 증명되어 근사 수열의 수렴성과 극한 연산의 타당성을 보장한다.
• 정지 시간에 대한 유한한 지수 모멘트나 기하학적 에르고드릭성과 같은 강력한 가정에 의존하지 않아 적용 가능성이 크게 넓어진다.
• 델타 방법으로 공식화된 바와 같이, 매개변수 불확실성 하에서 성능 측정치에 대한 渐近적 신뢰구간을 구성하는 데 결과들이 기여한다.