[논문 리뷰] Concentration inequalities for Markov chains by Marton couplings

Daniel Paulin|arXiv (Cornell University)|2012. 12. 10.

Markov Chains and Monte Carlo Methods인용 수 15

한 줄 요약

이 논문은 마르코프 체인에 대한 농도 불등식을 마르톤 커플링과 스펙트럼 기법을 사용하여 수립하며, 편차 경계가 혼합 시간과 스펙트럼 갭에 비례함을 보여준다. 비재귀적 체인으로의 McDiarmid 불등식 확장을 위해 의사-스펙트럼 갭을 도입함으로써, 경험 평균에 대한 분산 및 베르누이-유사 불등식을 제공한다.

ABSTRACT

We prove a version of McDiarmid's bounded differences inequality for Markov chains, with constants proportional to the mixing time of the chain. We also show variance bounds and Bernstein-type inequalities for empirical averages of Markov chains. In the case of non-reversible chains, we introduce a new quantity called the spectral gap, and show that it plays a similar role for non-reversible chains as the spectral gap plays for reversible chains. Our techniques for proving these results are based on a coupling construction of Katalin Marton, and on spectral techniques due to Pascal Lezaud. The pseudo spectral gap generalises the multiplicative reversiblication approach of Jim Fill.

연구 동기 및 목표

• 혼합 시간에 비례하는 상수를 갖는 마르코프 체인으로의 McDiarmid의 유계 차이 불등식 확장을 목표로 한다.
• 마르코프 체인의 경험 평균에 대한 분산 및 베르누이-유사 불등식을 유도한다.
• 비재귀적 마르코프 체인을 위한 새로운 스펙트럼 양—의사-스펙트럼 갭—을 도입하고 분석한다.
• 커플링과 스펙트럼 기법을 통해 재귀적 체인에서의 스펙트럼 갭의 역할을 비재귀적 체인으로 일반화한다.
• 마르톤의 커플링 구성과 레자드의 스펙트럼 기법을 융합하여 기존의 농도 결과를 통합하고 확장한다.

제안 방법

• 두 마르코프 체인 간의 경로 비교 및 편차 제어를 가능하게 하기 위해 마르톤 커플링을 사용하여 커플링을 구성한다.
• 파스칼 레자드의 스펙트럼 기법을 적용하여 전이 커널의 고유값을 경계하며, 특히 스펙트럼 갭에 중점을 둔다.
• 비재귀적 체인에 대한 표준 스펙트럼 갭의 일반화로 의사-스펙트럼 갭을 도입하여 농도 경계를 가능하게 한다.
• 커플링 거리와 스펙트럼 감쇠율을 조합하여 경험 평균의 편차에 대한 경계를 수립한다.
• 혼합 시간을 농도 불등식의 핵심 매개변수로 사용하여 상수가 체인 수렴 속도에 따라 적절히 척도가 조절되도록 한다.
• 의사-스펙트럼 갭을 통한 곱셈적 재귀화 기법을 활용하여 재귀적 체인에서의 결과를 비재귀적 체인으로 확장한다.

실험 결과

연구 질문

• RQ1 혼합 시간에 명시적인 의존성을 갖는 McDiarmid의 유계 차이 불등식은 마르코프 체인으로 어떻게 적응시킬 수 있는가?
• RQ2 비재귀적 마르코프 체인에서 스펙트럼 갭의 역할을 일반화하는 데 사용되는 스펙트럼 양은 무엇인가?
• RQ3 커플링과 스펙트럼 기법을 사용하여 마르코프 의존성 하에서 경험 평균에 대한 분산 및 베르누이-유사 불등식을 도출할 수 있는가?
• RQ4 의사-스펙트럼 갭은 비재귀적 체인에서 혼합 시간과 농도 행동과 어떻게 관련되어 있는가?
• RQ5 마르톤의 커플링 기법은 스펙트럼 분석과 얼마나 통합되어 비점근적 농도 경계를 도출할 수 있는가?

주요 결과

• 논문은 체인의 혼합 시간에 비례하는 상수를 갖는 마르코프 체인에 대한 마르코프-유사 불등식을 수립한다.
• 스펙트럼 기법과 마르톤 커플링을 사용하여 마르코프 체인의 경험 평균에 대한 분산 경계를 도출한다.
• 분산과 유계 차이를 모두 포함하는 마르코프 의존성 하에서 경험 평균에 대한 베르누이-유사 불등식이 증명된다.
• 의사-스펙트럼 갭은 비재귀적 체인의 농도를 제어하는 핵심 매개변수로 도입되며, 표준 스펙트럼 갭의 역할을 일반화한다.
• 비재귀적 체인에서의 스펙트럼 갭은 커플링과 스펙트럼 프레임워크를 통해 재귀적 체인에서의 그것과 유사한 역할을 한다.
• 결과는 마르톤의 커플링 방법과 레자드의 스펙트럼 경계, 필의 곱셈적 재귀화를 연결함으로써 기존 접근을 통합하고 확장한다.