[論文レビュー] Bernstein's inequalities for general Markov chains

Bai Jiang, Qiang Sun+1 more|arXiv (Cornell University)|May 28, 2018

Control Systems and Identification参考文献 27被引用数 19

ひとこと要約

本稿は、一般状態空間および非可逆連鎖を含む一般のマーカフ連鎖に対して、部分和のモーメント生成関数を摂動されたマーカフ作用素の作用素ノルムでバウンドすることにより、鋭いベルンシュタイン型集中不等式を確立する。主な貢献は、モーメント生成関数のバウンドを古典的ベルンシュタイン項と依存性補正項に分割する、新しい凸分解であり、特に低分散・高依存性の設定において、先行研究よりもタイトな偏差バウンドを達成する。

ABSTRACT

We establish Bernstein's inequalities for functions of general (general-state-space and possibly non-reversible) Markov chains. These inequalities achieve sharp variance proxies and encompass the classical Bernstein inequality for independent random variables as special cases. The key analysis lies in bounding the operator norm of a perturbed Markov transition kernel by the exponential of sum of two convex functions. One coincides with what delivers the classical Bernstein inequality, and the other reflects the influence of the Markov dependence. A convex analysis on these two functions then derives our Bernstein inequalities. As applications, we apply our Bernstein inequalities to the Markov chain Monte Carlo integral estimation problem and the robust mean estimation problem with Markov-dependent samples, and achieve tight deviation bounds that previous inequalities can not.

研究の動機と目的

• 独立性の下で古典的ベルンシュタイン不等式に還元可能な鋭い分散プロキシを持つ、一般状態空間および非可逆連鎖を含む一般マーカフ連鎖への古典的ベルンシュタイン不等式の拡張。
• 独立性の下で古典的結果に還元可能な鋭い分散プロキシを持つ集中不等式の導出。
• 一般状態空間における無限次元マーカフ作用素の挑戦を、離散化とLéon-Perron作用素を用いて克服。
• 新しい不等式をMCMC積分推定およびマーカフ依存下でのロバスト平均推定に応用。
• 先行のホーフィング型不等式と比較して、よりタイトな非漸近的信頼区間と改善された偏差バウンドを達成。

提案手法

• Cramér-Chernoff法を用い、マーカフ連鎖の関数和のモーメント生成関数（mgf）のバウンドから尾部バウンドを導出。
• 無限次元作用素を扱うために、マーカフ遷移カーネルの凸上界としてLéon-Perron作用素を導入。
• Katoの摂動理論を適用し、$ E^{tf/2} ilde{P} E^{tf/2} $ の作用素ノルムを $ t $ のべき級数として展開、ここで $ ilde{P} $ はLéon-Perron作用素。
• 関数 $ f $ を $ ilde{f}_k $ として離散化し、無限次元問題を有限次元近似に還元、鋭さを保持。
• mgfバウンドを2つの凸関数に分解：$ g_1(t) = rac{ ext{Var}(f)}{c^2}(e^{tc} - 1 - tc) $（古典的ベルンシュタイン）および $ g_2(t) = rac{ ext{Var}(f) ho t^2}{1 - ho - 5ct} $（依存性補正）、両者とも $ t $ に関して凸。
• Moreau-Rockafellarの公式を用い、$ g_1(t) + g_2(t) $ のFenchel共役を下から抑え、分散プロキシの鋭さに損失なしに保証。

実験結果

リサーチクエスチョン

• RQ1 一般状態空間・非可逆マーカフ連鎖に対し、鋭い分散プロキシを持つベルンシュタイン型集中不等式を拡張可能か？
• RQ2 無限次元設定におけるマーカフ連鎖の関数和のモーメント生成関数をどのようにバウンドできるか？
• RQ3 スペクトル的性質および作用素摂動理論は、マーカフ依存下でのよりタイトな集中バウンドを導出する上で果たす役割は何か？
• RQ4 MCMCおよびロバスト平均推定において、新しい不等式は既存のホーフィング型バウンドと比較してどのように異なるか？
• RQ5 マーカフ連鎖の依存構造は、mgfの凸分解を通じて集中不等式に明示的に定量化可能か？

主な発見

• 提案されたベルンシュタイン不等式は鋭い分散プロキシを達成し、独立な確率変数の下で正確に古典的ベルンシュタイン不等式に還元される。
• $ rac{1}{n} extstyleigsum_{i=1}^n f(X_i) $ のモーメント生成関数は $ ext{exp}ig(n ig( g_1(t) + g_2(t) ig)ig) $ でバウンドされ、ここで $ g_1(t) $ は古典的ベルンシュタイン項、$ g_2(t) $ はマーカフ依存性を捉える。
• MCMC積分推定において、新しい不等式から得られる非漸近的信頼区間は、Paulin (2015) のものと比較して少なくとも30%タイトである。
• マーカフ依存下でのロバスト平均推定において、新しい不等式は上界が減少するのに対し、Hoeffding型の不等式（例：Fan et al., 2021）は上界が減少しない。
• Fenchel共役の和の処理にMoreau-Rockafellarの公式を用いることで、分散プロキシの鋭さが保持される。
• Léon-Perron作用素と関数の離散化の使用により、一般状態空間連鎖への有限状態空間技術の厳密な拡張が可能となり、鋭さの損失なしに実現される。