[논문 리뷰] Finite-length Analysis on Tail probability for Markov Chain and Application to Simple Hypothesis Testing

Shun Watanabe, Masahito Hayashi|arXiv (Cornell University)|2014. 01. 16.

Markov Chains and Monte Carlo Methods참고 문헌 22인용 수 9

한 줄 요약

이 논문은 정보 기하학을 활용하여 마르코프 체인에서 표본 평균의 尾확률에 대한 유한 길이 경계를 개발하며, 적률 생성 함수에 대한 날카운 상한과 하한을 도출한다. 이러한 경계는 지수 제약 조건 하에서 단순 가설 검정에서 두 번째 오류 확률에 대해 O(1)-계산 가능한 점근적 타당 추정을 제공하며, 허프딩 유형의 경계를 복원하고 마르코프 체인에 대한 중심극한정리의 새로운 증명을 제공한다.

ABSTRACT

Using terminologies of information geometry, we derive upper and lower bounds of the tail probability of the sample mean. Employing these bounds, we obtain upper and lower bounds of the minimum error probability of the 2nd kind of error under the exponential constraint for the error probability of the 1st kind of error in a simple hypothesis testing for a finite-length Markov chain, which yields the Hoeffding type bound. For these derivations, we derive upper and lower bounds of cumulant generating function for Markov chain. As a byproduct, we obtain another simple proof of central limit theorem for Markov chain.

연구 동기 및 목표

• 유한 길이 마르코프 체인에서 표본 평균의 尾확률에 대한 유한 길이 상한과 하한을 유도하기.
• 첫 번째 오류 확률에 대한 지수 제약 조건 하에서 단순 가설 검정에서 두 번째 오류 확률에 대한 O(1)-계산 가능한 경계를 개발하기.
• 중앙극한, 중간편차, 대편차 영역에 대해 점근적 타당성을 확보하기.
• 베리-에센 정리를 마르코프 체인으로 일반화하고 적률 생성 함수 경계를 사용하여 마르코프 체인에 대한 중심극한정리의 새로운 증명을 제공하기.
• 상대 엔트로피, 상대 레니 엔트로피, 지수 가족과 같은 정보 기하학 도구를 마르코프 과정 분석에 적용하기.

제안 방법

• 전이 행렬과 정적분포를 활용하여 마르코프 체인에 대한 적률 생성 함수(CGF)에 대한 경계를 정보 기하학을 통해 도출하기.
• 지수 가족의 자연 매개변수와 기대값 매개변수 형식을 사용하여 CGF 및 그 경계를 표현하기.
• 레전드르 변환을 적용하여 CGF를 尾확률 경계와 연결하고, 중심극한, 중간편차, 대편차 영역과의 점근적 일致성 보장하기.
• 기본 행렬 Z와 행렬 A를 포함한 마르코프 체인의 행렬 표현을 사용하여 CGF 전개에서 분산 항을 계산하기.
• 유한 합과 (W - A)^d 행렬을 포함한 근사치를 사용하여 CGF를 근사함으로써 O(1)-계산 가능한 경계를 도출하고, 저도출 계산 복잡도 확보하기.
• 베리-에센 정리를 마르코프 체인으로 일반화하여 일정 오류 확률 제약 조건 하에서 유효한 경계를 확보하고, 스트라센의 점근적 결과를 확장하기.

실험 결과

연구 질문

• RQ1 중앙극한, 중간편차, 대편차 영역에서 점근적으로 타당한 O(1)-계산 가능한 유한 길이 경계를 마르코프 체인에서 표본 평균의 尾확률에 대해 도출할 수 있는가?
• RQ2 상대 엔트로피와 상대 레니 엔트로피와 같은 정보 기하학 도구를 사용하여 마르코프 체인의 적률 생성 함수를 유한 길이에서 어떻게 경계할 수 있는가?
• RQ3 마르코프 체인에서 단순 가설 검정에 대한 허프딩 경계를 상한과 하한 모두 O(1)-계산 가능한 유한 길이 경계로 도출할 수 있는가?
• RQ4 적률 생성 함수의 유한 길이 경계를 사용하여 마르코프 체인에 대한 중심극한정리의 새로운 간단한 증명을 제공할 수 있는가?
• RQ5 첫 번째 오류 확률에 대한 다양한 제약 조건—일정, 중간편차, 대편차—하에서 가설 검정의 두 번째 오류 확률 경계는 어떻게 행동하는가?

주요 결과

• 논문은 마르코프 체인의 적률 생성 함수에 대한 상한과 하한을 도출하였으며, n → ∞ 일 때 점근적 CGF로 수렴하여 점근적 타당성을 확보한다.
• 이러한 CGF 경계는 중심극한정리, 중간편차, 대편차 행동을 한계에서 복원하는 O(1)-계산 가능한 상한과 하한 경계를 제공하는 尾확률에 대해 도출된다.
• 단순 가설 검정에서, 첫 번째 오류 확률에 대한 지수 제약 조건 하에서 두 번째 오류 확률에 대한 O(1)-계산 가능한 상한과 하한 경계를 제공하며, 대편차 영역에서 허프딩 경계를 복원한다.
• 이 경계는 단순 표본 평균뿐만 아니라 일반적인 이변량 함수 g(X_{k+1}, X_k)에도 적용 가능하여 은닉 마르코프 모델로의 적용 범위를 확장한다.
• CGF 경계의 극한을 취하여 마르코프 체인에 대한 중심극한정리의 새로운 증명을 확보하였으며, 정규화된 표본 평균이 가우시안 분포로 수렴하는 것을 확인한다.
• 논문은 베리-에센 정리를 마르코프 체인으로 일반화하여 일정 오류 확률 제약 조건 하에서 유효한 O(1)-계산 가능한 경계를 도출하였으며, 스트라센의 점근적 결과를 복원한다.