[論文レビュー] Optimal Gaussian concentration bounds for stochastic chains of unbounded memory

Jean-René Chazottes, Sandro Gallo+1 more|arXiv (Cornell University)|Jan 18, 2020

Markov Chains and Monte Carlo Methods参考文献 42被引用数 5

ひとこと要約

本稿では、可算アルファベット上の無限記憶の確率的チェーン（SCUM）に対して、最大結合を用いて最適なガウス型濃縮境界（GCB）を確立する。GCBは、カーネルの変動和が1未塔またはその変動がℓ¹(ℕ)に属する場合に成立し、明示的な定数を伴う。これらの条件は、反例を用いた相転移現象により、最適であることが示される。

ABSTRACT

We obtain optimal Gaussian concentration bounds (GCBs) for stochastic chains of unbounded memory (SCUMs) on countable alphabets. These stochastic processes are also known as "chains with complete connections" or "$g$-measures". We consider two different conditions on the kernel: (1) when the sum of its oscillations is less than one, or (2) when the sum of its variations is finite, i.e., belongs to $\ell^1(\mathbb{N})$. We also obtain explicit constants as functions of the parameters of the model. The proof is based on maximal coupling. Our conditions are optimal in the sense that we exhibit examples of SCUMs that do not have GCB and for which the sum of oscillations is strictly larger than one, or the variation belongs to $\ell^{1+ε}(\mathbb{N})$ for any $ε> 0$. These examples are based on the existence of phase transitions. We also extend the validity of GCB to a class of functions which can depend on infinitely many coordinates. We illustrate our results by three applications. First, we derive a Dvoretzky-Kiefer-Wolfowitz type inequality which gives a uniform control on the fluctuations of the empirical measure. Second, in the finite-alphabet case, we obtain an upper bound on the $\bar{d}$-distance between two stationary SCUMs and, as a by-product, we obtain new (explicit) bounds on the speed of Markovian approximation in $\bar{d}$. Third, we obtain exponential rate of convergence for Birkhoff sums of a certain class of observables.

研究の動機と目的

• 無限記憶付き確率的チェーン（SCUM）—別名g-測度または完全接続付きチェーン—に対する最適なガウス型濃縮境界（GCB）を確立すること。
• GCBの存在に必要な十分条件として、カーネルに関する鋭い条件を同定すること。具体的には、変動の和 < 1 または可 summable 変動（ℓ¹）である。
• これらの条件の最適性を、条件を満たさない場合にGCBを満たさないSCUMを構成することで示し、相転移の例を用いる。
• GCBを、有限記憶の観測量にとどまらず、無限個の座標に依存する関数へと拡張すること。
• 新たな応用を導出する。具体的には、Dvoretzky-Kiefer-Wolfowitz型不等式、SCUM間の$\bar{d}$-距離の明示的評価、およびBirkhoff和の指数的収束速度の導出。

提案手法

• 最大結合を主たる技術として用い、2つのパス間の結合誤差をバインドする。これにより、カーネルの変動および変動と関連づける。
• 結合誤差を、結合されたパス間の不一致確率として定義し、初期状態の上界を用いてバインドする。
• 観測量の分散をカーネルの全変動および結合誤差と関連付けることで、明示的な濃縮不等式を導出する。
• GCBから導かれる輸送コスト不等式を用い、2つの定常SCUM間の$\bar{d}$-距離をバインドする。
• GCBと輸送コスト不等式の関係を用い、$\bar{d}$-距離におけるマルコフ近似の速度を評価する。
• 1ステップ最大結合戦略を用い、パスの不一致の時間的進化を制御することで、結合誤差の再帰的推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 カーネルにどのような条件下で、無限記憶付き確率的チェーンがガウス型濃縮境界を満たすか？
• RQ2 カーネルの変動（和 < 1）および変動（ℓ¹）に関する条件は、GCBの存在に対して最適か？
• RQ3 SCUMにおける無限個の座標に依存する観測量に対しても、ガウス型濃縮境界を拡張できるか？
• RQ4 GCBは統計的推論にどのような意味を持つのか。具体的には、経験測度のフラクチュエーションの制御やプロセス間の距離の測定にどう応用できるか？
• RQ5 GCBを用いて、SCUMにおける$\bar{d}$-距離におけるマルコフ近似の速度を明示的に評価できるか？

主な発見

• カーネルの変動和が1未塔である限り、SCUMに対してガウス型濃縮境界が成立し、その定数はこの和に明示的に依存する。
• カーネルの変動がℓ¹(ℕ)に属する場合にも、GCBは成立し、関連する濃縮定数は変動のℓ¹ノルムの関数として明示的に計算可能である。
• これらの条件は最適である。任意のε > 0に対して、変動がℓ¹⁺ᵉ(ℕ)に属するがGCBを満たさないSCUMが存在し、変動和 > 1 である例に対してもGCBは成立しない。
• これらの状況でのGCBの失敗は、相転移と、カーネルと整合する不変測度の一意性の欠如と関連している。
• 変動が可summable であるSCUMに対して、Dvoretzky-Kiefer-Wolfowitz型不等式が確立され、経験測度のフラクチュエーションに対して一様な制御が得られる。
• 2つの定常SCUM間の$\bar{d}$-距離に対する明示的上界が導出され、特定の非マルコフ的状況において、$\bar{d}$-距離におけるマルコフ近似の速度が初めて定量的に評価された。