[논문 리뷰] Bernstein's inequalities for general Markov chains

Bai Jiang, Qiang Sun외 1명|arXiv (Cornell University)|2018. 05. 28.

Control Systems and Identification참고 문헌 27인용 수 19

한 줄 요약

이 논문은 일반 상태공간 및 비가역 마코프 체인을 포함한 일반 마코프 체인에 대해 날카로운 베르누이 스타일의 농도 불등식을 수립한다. 이는 부분합의 모멘트 생성 함수를 편경 조작된 마코프 연산자의 연산자 노름을 통해 유계화함으로써 달성된다. 핵심 기여는 모멘트 생성 함수 유계를 고전적 베르누이 항과 의존성 보정 항으로 나누는 새로운 볼록 분해를 제안하는 것으로, 특히 저분산, 고의존성 설정에서 이전 연구보다 더 날카로운 편차 유계를 도출한다.

ABSTRACT

We establish Bernstein's inequalities for functions of general (general-state-space and possibly non-reversible) Markov chains. These inequalities achieve sharp variance proxies and encompass the classical Bernstein inequality for independent random variables as special cases. The key analysis lies in bounding the operator norm of a perturbed Markov transition kernel by the exponential of sum of two convex functions. One coincides with what delivers the classical Bernstein inequality, and the other reflects the influence of the Markov dependence. A convex analysis on these two functions then derives our Bernstein inequalities. As applications, we apply our Bernstein inequalities to the Markov chain Monte Carlo integral estimation problem and the robust mean estimation problem with Markov-dependent samples, and achieve tight deviation bounds that previous inequalities can not.

연구 동기 및 목표

• 일반 마코프 체인, 특히 비가역 및 일반 상태공간 마코프 체인에 고전적 베르누이 불등식을 확장한다.
• 독립성 하에서 고전 결과로 수렴하는 날카로운 분산 프록시를 갖는 농도 불등식을 유도한다.
• 일반 상태공간에서의 무한차원 마코프 연산자 문제를 극복하기 위해 이산화 및 Léon-Perron 연산자를 사용한다.
• 새로운 불등식을 MCMC 적분 추정 및 마코프 의존성 하에서의 강건한 평균 추정에 적용한다.
• 기존의 호프딩 유형 불등식에 비해 더 날카로운 비점근적 신뢰구간과 향상된 편차 유계를 달성한다.

제안 방법

• 모멘트 생성 함수(MGF) 유계를 통해 부분합의 尾 확률 유계를 도출하기 위해 Cramér-Chernoff 방법을 사용한다.
• 무한차원 연산자를 다루기 위해 마코프 전이 커널의 볼록 상위 함수로 Léon-Perron 연산자를 도입한다.
• 카토의 편경 이론을 적용하여 $ E^{tf/2} ilde{P} E^{tf/2} $의 연산자 노름을 $ t $ 의 멱급수로 전개한다. 여기서 $ ilde{P} $ 는 Léon-Perron 연산자이다.
• 함수 $ f $ 를 $ ilde{f}_k $ 로 이산화하여 무한차원 문제를 유한차원 근사로 환원하면서 날카로움을 유지한다.
• MGF 유계를 두 볼록 함수로 분해한다: $ g_1(t) = \frac{\text{Var}(f)}{c^2}(e^{tc} - 1 - tc) $ (고전적 베르누이) 및 $ g_2(t) = \frac{\text{Var}(f)\rho t^2}{1 - \rho - 5ct} $ (의존성 보정), 둘 다 $ t $ 에 대해 볼록이다.
• Moreau-Rockafellar 공식을 사용하여 $ g_1(t) + g_2(t) $ 의 Fenchel 쌍대를 하한 유계화함으로써 분산 프록시의 날카로움을 손상시키지 않는다.

실험 결과

연구 질문

• RQ1 일반 상태공간, 비가역 마코프 체인에 대해 날카로운 분산 프록시를 갖는 베르누이 스타일 농도 불등식을 확장할 수 있는가?
• RQ2 무한차원 설정에서 마코프 체인의 함수 합의 모멘트 생성 함수는 어떻게 유계화할 수 있는가?
• RQ3 스펙트럼 성질과 연산자 편경 이론은 마코프 의존성 하에서 더 날카로운 농도 유계 유도에 어떤 역할을 하는가?
• RQ4 MCMC 및 강건한 평균 추정에서 새로운 불등식은 기존 호프딩 유형 유계와 어떻게 비교되는가?
• RQ5 마코프 체인의 의존성 구조는 MGF의 볼록 분해를 통해 농도 불등식에 명시적으로 측정될 수 있는가?

주요 결과

• 제안된 베르누이 불등식은 날카로운 분산 프록시를 달성하며, 독립 랜덤 변수에 대해 정확히 고전적 베르누이 불등식으로 수렴한다.
• 합의 모멘트 생성 함수 $ \frac{1}{n}\textstyle\bigsum_{i=1}^n f(X_i) $ 는 $ \text{exp}\big(n \big( g_1(t) + g_2(t) \big)\big) $ 로 유계화되며, 여기서 $ g_1(t) $ 는 고전적 베르누이 항, $ g_2(t) $ 는 마코프 의존성을 반영한다.
• MCMC 적분 추정에서, 새로운 불등식으로 유도된 비점근적 신뢰구간은 Paulin(2015)의 결과보다 최소 30% 더 날카럽다.
• 마코프 의존성 하에서의 강건한 평균 추정에서는 새로운 불등식이 감소하는 상한을 도출하지만, 기존 호프딩 유형 유계(예: Fan 등, 2021)는 비감소 상한만 도출한다.
• Moreau-Rockafellar 공식을 사용하여 볼록 함수 합의 쌍대를 다룸으로써 분산 프록시의 날카로움을 유지한다.
• Léon-Perron 연산자 및 함수 이산화의 사용은 일반 상태공간 체인으로 유한상태공간 기법을 날카로움을 잃지 않고 엄밀하게 확장할 수 있도록 한다.