[論文レビュー] Obtaining Measure Concentration from Markov Contraction

Leonid, Kontorovich|arXiv (Cornell University)|Nov 7, 2007

Markov Chains and Monte Carlo Methods参考文献 20被引用数 16

ひとこと要約

本稿では、マコフ収縮を用いた測度集中不等式の導出のための新規手法を提案する。伝統的なカップリング技法に代わるより単純な代替手法を提供する。確率を行列積として表現し、収縮バウンドを適用することで、一般の混合条件の下でマコフ型過程に対してタイトな集中結果を得られる。$θ$-混合係数および行列ノルムを用いた明示的バウンドが得られる。

ABSTRACT

Concentration bounds for non-product, non-Haar measures are fairly recent: the first such result was obtained for contracting Markov chains by Marton in 1996 via the coupling method. The work that followed, with few exceptions, also used coupling. Although this technique is of unquestionable utility as a theoretical tool, it is not always simple to apply. As an alternative to coupling, we use the elementary Markov contraction lemma to obtain simple, useful, and apparently novel concentration results for various Markov-type processes. Our technique consists of expressing probabilities as matrix products and applying Markov contraction to these expressions; thus it is fairly general and holds the potential to yield further results in this vein.

研究の動機と目的

• 非i.i.d.測度、特にマコフ型過程のための一般的で取り扱いやすい集中不等式の導出手法の開発。
• カップリングに基づく手法の技術的複雑性を克服するため、マコフ収縮補題をよりアクセスしやすい解析的ツールとして活用すること。
• 混合係数 $\bar{\eta}_{ij}$ および行列ノルム $\|\Gamma\|_2$, $\|\Delta\|_\infty$ を用いた明示的かつ計算可能な集中バウンドの提供。
• 積またはi.i.d.測度を超えるより広い依存確率変数のクラスへの集中不等式の適用可能性の拡張。
• 有向無閉路グラフモデルやその他の構造的確率的システムへの一般化が可能なフレームワークの確立。

提案手法

• 条件付き遷移核を用いて、マコフ連鎖の関数に関する確率を行列積として表現する。
• マコフ収縮補題を適用して、条件付き分布間の全 Variation 距離をバウンドし、$\bar{\eta}_{ij}$ 係数のバウンドを導出する。
• 混合構造を捉えるために、$\sqrt{\bar{\eta}_{ij}}$ および $\bar{\eta}_{ij}$ をそれぞれの成分とする上三角行列 $\Gamma$ および $\Delta$ を定義する。
• $\ell_2$ 演算子ノルム $\|\Gamma\|_2$ および $\ell_\infty$ 演算子ノルム $\|\Delta\|_\infty$ を用いて、全体の混合強度を定量し、集中バウンドを導出する。
• ゲルゴリン円板定理を用いて、行和を介して $\|\Gamma\|_2^2$ を推定し、バウンドの実用的計算を可能にする。
• 木構造のグラフィカルモデルを活用して、深さとレベルの成長を分析することで、より鋭いバウンドを得る。これにより、$\bar{\eta}_{ij}$ の指数的減衰推定が得られる。

実験結果

リサーチクエスチョン

• RQ1 マコフ収縮は、カップリングに依存せずに、一般用途の集中不等式を導出するための有効なツールとして機能できるか？
• RQ2 $\|\Gamma\|_2$ および $\|\Delta\|_\infty$ の行列ノルムは、集中行動を決定づける混合係数 $\bar{\eta}_{ij}$ とどのように関係しているか？
• RQ3 混合係数が距離とともに減少する場合に、マコフ連鎖およびグラフィカルモデルに対して、最もタイトな集中バウンドは何か？
• RQ4 この手法は、構造的依存性を持つ一般の有向無閉路グラフィカルモデルに拡張可能か？
• RQ5 木のレベル成長率は、$\bar{\eta}_{ij}$ の減衰および結果として得られる集中バウンドにどのように影響するか？

主な発見

• 凸関数で $\ell_2$-リプシッツノルムが 1 であるものを対象として、$\|\Gamma\|_2^2$ を用いた新しい集中不等式 $\mu\{\left|f - \mu f\right| > t\} \leq 2\exp\left(-t^2 / (2\|\Gamma\|_2^2)\right)$ を確立する。
• ハミング距離における $\sqrt{n}\|f\|_{\text{Lip}} \leq 1$ を満たす関数に対して、$\|\Delta\|_\infty$ を用いたバウンド $\mu\{\left|f - \mu f\right| > t\} \leq 2\exp\left(-t^2 / (2\|\Delta\|_\infty^2)\right)$ が導出される。
• 木構造モデルに対して、非自明な $\bar{\eta}_{ij}$ バウンドが得られ、レベル成長が線形で $ck\theta_k \leq \beta < 1$ のとき $\bar{\eta}_{ij} \leq \beta^{\sqrt{2(j-i)/c} - d_i - 1}$ が成り立つ。
• $\beta < 1$ のとき、級数 $\sum_{j=i+1}^\infty \bar{\eta}_{ij}$ は収束し、$\|\Delta\|_\infty$ の有限性が保証され、結果として有効な集中バウンドが得られる。
• このアプローチにより、$\Gamma^T\Gamma$ の行和を介して $\|\Gamma\|_2^2$ を推定する体系的な方法が提供され、集中レートの実用的計算が可能になる。
• このフレームワークは、レベルサイズが有界または緩やかに増加する場合に特に適した、より広いクラスの有向無閉路グラフィカルモデルへの一般化が可能である。