[논문 리뷰] Optimal Gaussian concentration bounds for stochastic chains of unbounded memory

Jean-René Chazottes, Sandro Gallo외 1명|arXiv (Cornell University)|2020. 01. 18.

Markov Chains and Monte Carlo Methods참고 문헌 42인용 수 5

한 줄 요약

이 논문은 가산 알파벳 위의 유한 기억이 없는 스토하스틱 체인(SCUMs)에 대해 최적의 가우시안 농도 구속(GCBs)을 최대 결합(maximal coupling)를 이용하여 수립한다. GCBs가 성립하는 조건은 커널의 진동합이 1 미만이거나, 그 변동성이 ℓ¹(ℕ)에 속할 때이며, 이 경우 명시적인 상수가 존재한다. 이러한 조건은 반례를 통한 계면 전이 현상에 의해 최적이며, 조건을 위반할 경우 GCBs가 성립하지 않음을 보여준다.

ABSTRACT

We obtain optimal Gaussian concentration bounds (GCBs) for stochastic chains of unbounded memory (SCUMs) on countable alphabets. These stochastic processes are also known as "chains with complete connections" or "$g$-measures". We consider two different conditions on the kernel: (1) when the sum of its oscillations is less than one, or (2) when the sum of its variations is finite, i.e., belongs to $\ell^1(\mathbb{N})$. We also obtain explicit constants as functions of the parameters of the model. The proof is based on maximal coupling. Our conditions are optimal in the sense that we exhibit examples of SCUMs that do not have GCB and for which the sum of oscillations is strictly larger than one, or the variation belongs to $\ell^{1+ε}(\mathbb{N})$ for any $ε> 0$. These examples are based on the existence of phase transitions. We also extend the validity of GCB to a class of functions which can depend on infinitely many coordinates. We illustrate our results by three applications. First, we derive a Dvoretzky-Kiefer-Wolfowitz type inequality which gives a uniform control on the fluctuations of the empirical measure. Second, in the finite-alphabet case, we obtain an upper bound on the $\bar{d}$-distance between two stationary SCUMs and, as a by-product, we obtain new (explicit) bounds on the speed of Markovian approximation in $\bar{d}$. Third, we obtain exponential rate of convergence for Birkhoff sums of a certain class of observables.

연구 동기 및 목표

• 유한 기억이 없는 스토하스틱 체인(SCUMs), 즉 g-측도 또는 완전 연결 체인으로도 알려진 것에 대해 최적의 가우시안 농도 구속(GCBs)을 수립하기.
• GCBs 존재를 위한 커널에 대한 날카운 필요충분조건을 특정화하기 — 구체적으로 진동합 < 1 또는 합성가능한 변동성(ℓ¹) 조건.
• 조건의 최적성을 입증하기 위해, 조건을 위반할 경우 GCBs를 만족하지 못하는 SCUMs를 계면 전이 예시를 통해 구성함.
• 유한 기억 관측자 이상의 좌표에 의존하는 함수로 GCBs를 확장하여 적용 범위를 넓히기.
• 새로운 응용을 도출하기 — Dvoretzky-Kiefer-Wolfowitz 유형 부등식, SCUMs 간 $\bar{d}$-거리에 대한 명시적 상계, Birkhoff 합의 지수 수렴 속도 등.

제안 방법

• 두 경로 간 결합 오차를 제한하기 위해 최대 결합을 중심 기법으로 사용하며, 이를 커널의 진동 및 변동성과 연결함.
• 결합 오차를 결합된 경로 간 불일치 확률로 정의하고, 초기 설정에 대한 상한을 이용해 제한함.
• 관측자 변수의 분산을 커널의 총 변동성과 결합 오차에 관련지어 명시적 농도 부등식을 유도함.
• GCB로부터 유도된 운반 비용 부등식을 적용하여 두 정적 SCUMs 간 $\bar{d}$-거리의 상한을 구함.
• GCB와 운반 비용 부등식 간의 관계를 활용해 $\bar{d}$-거리에서 마코프 근사 속도에 대한 상한을 도출함.
• 일단 단계 최대 결합 전략을 활용해 경로 불일치의 시간 진화를 제어하고, 결합 오차의 재귀적 추정을 가능하게 함.

실험 결과

연구 질문

• RQ1 커널에 어떤 조건이 성립할 경우, 유한 기억이 없는 스토하스틱 체인이 가우시안 농도 구속을 만족하는가?
• RQ2 커널의 진동(합 < 1)과 변동성(ℓ¹) 조건이 GCBs 존재에 대해 최적이냐?
• RQ3 GCBs는 SCUMs에서 무한히 많은 좌표에 의존하는 관측자로 확장될 수 있는가?
• RQ4 GCBs는 통계적 추론에 어떤 영향을 미치는가? 예를 들어, 경험 측도의 변동성 제어나 과정 간 거리 측정에 기여하는가?
• RQ5 GCBs를 활용해 SCUMs의 $\bar{d}$-거리에서 마코프 근사 속도에 대한 명시적 상한을 어떻게 유도할 수 있는가?

주요 결과

• 커널의 진동합이 1 미만일 경우, GCBs는 명시적 상수(해당 합에 의존)를 가짐.
• 커널의 변동성이 ℓ¹(ℕ)에 속할 경우, GCBs도 성립하며, 이에 대응하는 농도 상수는 변동성의 ℓ¹-노름에 대한 명시적 함수로 계산됨.
• 이 조건들은 최적이며, 임의의 ε > 0에 대해 ℓ¹⁺ᵉ(ℕ)에 속하는 변동성을 가진 SCUMs가 GCBs를 만족하지 못하는 반례가 존재함. 또한 진동합 > 1인 경우도 GCBs를 만족하지 못함.
• 이러한 경우의 GCBs 실패는 계면 전이와 관련되며, 커널과 호환되는 불변 측도의 유일성 상실과 연결됨.
• 합성가능한 변동성을 가진 SCUMs에 대해 Dvoretzky-Kiefer-Wolfowitz 유형 부등식이 수립되어 경험 측도의 변동성에 대한 균일한 제어를 제공함.
• 두 정적 SCUMs 간 $\bar{d}$-거리에 대한 명시적 상한이 도출되었으며, 일부 비마코프 경우에서 $\bar{d}$-거리에서 마코프 근사 속도가 처음으로 정량화됨.