[논문 리뷰] Hoeffding's lemma for Markov Chains and its applications to statistical learning

Jianqing Fan, Bai Jiang외 1명|arXiv (Cornell University)|2018. 02. 01.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 23

한 줄 요약

이 논문은 일반 상태공간, 비재귀적 마르코프 체인으로 허프딩의 보조정리와 부등식을 확장하며, 전이 커널의 연산자 노름 λ에 따라 달라지는 곱셈 인자 (1+λ)/(1−λ) 를 도입한다. 주요 기여는 유계 함수의 합에 대한 서브가우시안 경계를 제시하는 것으로, λ=0일 때는 고전적인 허프딩 경계로 축소되며, 시간에 따라 변하는 함수와 비재귀적 체인으로 이전 결과를 일반화한다.

ABSTRACT

We extend Hoeffding's lemma to general-state-space and not necessarily reversible Markov chains. Let $\{X_i\}_{i \ge 1}$ be a stationary Markov chain with invariant measure $π$ and absolute spectral gap $1-λ$, where $λ$ is defined as the operator norm of the transition kernel acting on mean zero and square-integrable functions with respect to $π$. Then, for any bounded functions $f_i: x \mapsto [a_i,b_i]$, the sum of $f_i(X_i)$ is sub-Gaussian with variance proxy $\frac{1+λ}{1-λ} \cdot \sum_i \frac{(b_i-a_i)^2}{4}$. This result differs from the classical Hoeffding's lemma by a multiplicative coefficient of $(1+λ)/(1-λ)$, and simplifies to the latter when $λ= 0$. The counterpart of Hoeffding's inequality for Markov chains immediately follows. Our results assume none of countable state space, reversibility and time-homogeneity of Markov chains and cover time-dependent functions with various ranges. We illustrate the utility of these results by applying them to six problems in statistics and machine learning.

연구 동기 및 목표

• 독립적인 랜덤 변수에서 일반 상태공간의 마르코프 체인으로 허프딩의 보조정리와 부등식을 일반화하기 위해.
• 이전 결과를 제약하는 가정인 재귀성, 시간 동질성, 가산 상태공간을 제거하기 위해.
• 시간에 따라 변하는 유계 함수의 마르코프 체인 합에 대해 서브가우시안 경계를 도출하여, 스펙트럼 간격을 통해 의존성을 명시적으로 기술하기 위해.
• 시간에 따라 변하지 않는 함수의 경우, λ를 max{λr, 0}으로 대체함으로써 날카운 경계를 제공하기 위해, 여기서 λr는 덧셈적 재귀화의 오른쪽 스펙트럼 간격이다.
• 여섯 가지 통계 및 기계학습 응용 분야에서 새로운 경계의 유용성을 입증하기 위해, MCMC 추정 및 멀티어머드 밴딧을 포함한다.

제안 방법

• 정적 조건부 측도 π 하에서 평균이 0이고 L2로 적분 가능한 함수들의 공간 L0₂(π) 위에서 전이 커널 P의 연산자 노름 1−λ을 절대 스펙트럼 간격으로 정의한다.
• 새로운 허프딩 유형의 지수 모멘트 경계를 수립한다: E[exp(t∑(fi(Xi)−∫fi dπ))] ≤ exp(t²/2 × (1+λ)/(1−λ) × ∑(bi−ai)²/4), 여기서 t∈ℝ 및 유계 함수 fi: X→[ai,bi] 에 대해 유효하다.
• 덧셈적 재귀화 (P+P*)/2 를 사용하여 λr를 정의하고, 시간에 따라 변하지 않는 f에 대해 λ를 max{λr, 0}으로 대체함으로써 경계가 향상됨을 보인다.
• 이 경계를 적용하여 ∑fi(Xi)에 대해 서브가우시안 농도 경계를 유도하며, 분산 대체자 α(λ) × ∑(bi−ai)²/4 를 갖는다. 여기서 α(λ)=(1+λ)/(1−λ) 이다.
• 최소한의 가정 하에 경계가 성립함을 증명한다: 정적 상태, 함수의 유계성, 그리고 불변 측도 π 존재.
• 횔더 부등식과 마르코프 연산자의 스펙트럼 성질을 사용하여 합의 모멘트 생성 함수를 제어하며, 연산자 노름 λ와 재귀화를 활용하여 경계를 정교화한다.

실험 결과

연구 질문

• RQ1 계산 가능한 상태공간이나 시간 동질성을 가정하지 않고도, 일반적인 비재귀적 마르코프 체인으로 허프딩의 보조정리를 확장할 수 있는가?
• RQ2 기본적인 랜덤 변수들이 마르코프 의존성을 보일 경우, 고전적인 허프딩 경계에 적용할 적절한 곱셈 보정 인자는 무엇인가?
• RQ3 전이 커널의 스펙트럼 간격 λ 가 마르코프 체인의 유계 함수 합의 농도에 어떤 영향을 미치는가?
• RQ4 시간에 따라 변하지 않는 함수의 경우, λ 대신 오른쪽 스펙트럼 간격 λr 를 사용하여 경계를 더 날카롭게 만들 수 있는가?
• RQ5 이 새로운 농도 경계는 종속된 데이터를 포함한 실제 통계 및 기계학습 문제에 어느 정도 적용될 수 있는가?

주요 결과

• 논문은 정적 마르코프 체인의 유계 함수 합에 대해 새로운 허프딩 유형의 지수 모멘트 경계를 확립한다: E[exp(t∑(fi(Xi)−∫fi dπ))] ≤ exp(t²/2 × (1+λ)/(1−λ) × ∑(bi−ai)²/4), 여기서 λ는 L0₂(π) 위에서 전이 커널의 연산자 노름이다.
• λ=0일 경우 경계는 정확히 고전적인 허프딩의 보조정리로 축소되며, 독립적인 경우와의 일致성을 확인한다.
• 시간에 따라 변하지 않는 함수의 경우 (f1=⋯=fn=f), λ를 max{λr, 0}으로 대체함으로써 경계를 개선할 수 있으며, 여기서 λr는 덧셈적 재귀화 (P+P*)/2 의 오른쪽 스펙트럼 간격이다. 이로 인해 더 날카운 인자 α(max{λr, 0})=(1+max{λr, 0})/(1−max{λr, 0}) 를 얻는다.
• 유도된 농도 경계는 미아소예도프(2014)와 레온 및 페론(2004)의 결과를 일반화하여 시간에 따라 변하는 함수와 비재귀적 체인으로 확장한다.
• 이러한 일반적인 설정에서 ∑fi(Xi)의 서브가우시안 성질을 처음으로 공식적으로 확립하며, 마르코프 의존성에 기반한 합의 기본적 특성화를 제공한다.
• 이 경계는 여섯 가지 문제에 적용되었으며, 희소 공분산 추정, MCMC 추정, 멀티어머드 밴딧 등이 포함되어 있다. 이로 인해 밴딧 문제에서의 기대 위험은 스펙트럼 간격에 따라 결정되는 상수를 포함하여 O(log T / Δj²) 스케일을 가지며, 이는 이전 결과를 향상시킨다.