[논문 리뷰] Finite-length Analysis on Tail probability and Simple Hypothesis Testing for Markov Chain

Shun Watanabe, Masahito Hayashi|arXiv (Cornell University)|2014. 01. 01.

Rough Sets and Fuzzy Logic인용 수 6

한 줄 요약

이 논문은 유한 길이 마르코프 체인에 대한 尾確率과 적률 생성 함수에 대한 날카운 상한 및 하한을 정보 기하학을 사용하여 유도한다. 단순 가설 검정에서 제1종 오류 확률에 대한 지수적 제약 조건 하에 제2종 오류 확률의 최소값에 대한 허프딩 유형의 경계를 수립하고, 마르코프 체인에 대한 중심극한정리의 새로운 증명을 제공한다.

ABSTRACT

Using terminologies of information geometry, we derive upper and lower bounds of the tail probability of the sample mean. Employing these bounds, we obtain upper and lower bounds of the minimum error probability of the 2nd kind of error under the exponential constraint for the error probability of the 1st kind of error in a simple hypothesis testing for a finite-length Markov chain, which yields the Hoeffding type bound. For these derivations, we derive upper and lower bounds of cumulant generating function for Markov chain. As a byproduct, we obtain another simple proof of central limit theorem for Markov chain.

연구 동기 및 목표

• 유한 길이 마르코프 체인에 대한 표본 평균의 尾확률에 대한 날카운 상한 및 하한을 유도하는 것.
• 단순 가설 검정에서 제1종 오류 확률에 대한 지수적 제약 조건 하에 제2종 오류 확률의 최소값에 대한 경계를 수립하는 것.
• 꼬리 확률 분석을 위한 기초 단계로 마르코프 체인의 적률 생성 함수에 대한 경계를 개발하는 것.
• 유도된 경계를 활용하여 마르코프 체인에 대한 중심극한정리의 새로운 간결한 증명을 제공하는 것.

제안 방법

• 마르코프 체인의 분포의 통계 다양체를 기하학적으로 특성화하기 위해 정보 기하학을 활용한다.
• 지수형_FAMILY의 기하학적 성질을 사용하여 적률 생성 함수에 대한 상한 및 하한을 유도한다.
• 이 경계를 마르코프 체인의 표본 평균에 적용하여 꼬리 확률을 제어한다.
• 꼬리 확률 경계를 이진 가설 검정에서 오류 확률에 대한 제약 조건으로 변환한다.
• 지수 기울임과 기하학적 모멘트 경계를 활용하여 마르코프 체인에 대한 허프딩 유형 부등식을 정밀화한다.
• 유도된 적률 생성 함수 경계를 활용하여 중심극한정리 증명을 재구성한다.

실험 결과

연구 질문

• RQ1 유한 길이 마르코프 체인에 대한 표본 평균의 꼬리 확률에 대해 가능한 가장 날카운 상한 및 하한은 무엇인가?
• RQ2 마르코프 체인의 적률 생성 함수를 어떻게 경계지을 수 있을까? 이를 통해 유한 길이 이탈 분석이 가능하게 되는가?
• RQ3 단순 가설 검정에서 제1종 오류 확률에 지수적 제약 조건이 있을 때, 제2종 오류 확률의 최소값에 대한 실현 가능한 경계는 무엇인가?
• RQ4 유도된 경계를 통해 마르코프 체인에 대한 허프딩 유형의 부등식을 도출할 수 있는가?
• RQ5 이 경계를 바탕으로 마르코프 체인에 대한 중심극한정리의 새로운 간결한 증명이 존재하는가?

주요 결과

• 정보 기하학을 사용하여 마르코프 체인에 대한 표본 평균의 꼬리 확률에 대해 날카운 상한 및 하한을 유도하였으며, 이는 유한 길이 마르코프 체인에 적용 가능하다.
• 마르코프 체인의 적률 생성 함수에 대해 상한 및 하한이 경계지어져 정밀한 이탈 분석이 가능해졌다.
• 단순 가설 검정에서 제1종 오류 확률에 대한 지수적 제약 조건 하에 제2종 오류 확률의 최소값에 대한 허프딩 유형의 경계가 수립되었다.
• 마르코프 과정 데이터에 적용했을 때, 기존의 i.i.d. 결과보다 오류 확률 경계가 더 날카롭고 정밀한 것으로 확인되었다.
• 적률 생성 함수 경계의 유도 과정을 통해 마르코프 체인에 대한 중심극한정리의 새로운 간결한 증명을 확보하였다.
• 결과는 종속된 확률 과정에 대한 대칭적 분석 및 큰 이격 분석을 정교화하는 데 정보 기하학의 유용성을 입증한다.