[論文レビュー] Multivariate Concentration Inequalities with Size Biased Couplings

Subhankar Ghosh, Ümi̇t Işlak|arXiv (Cornell University)|Oct 21, 2013

Stochastic processes and statistical mechanics参考文献 9被引用数 4

ひとこと要約

本稿では、有限で非ゼロの分散をもつ非負の確率的ベクトルに対して、サイズバイアスカップリングを用いた多次元の濃度不等式を構築する。元のベクトルとカップリングされたベクトルの差のL2ノルムを制限するサイズバイアスカップリングを構築することで、上側と下側の尾確率に対して鋭い境界を得た。これは一変量の結果を一般化し、局所的に依存する系や、明示的な濃度率を伴うランダム順列におけるパターン数の数え上げへの応用を可能にする。

ABSTRACT

Let $\mathbf{W}=(W_1,W_2,...,W_k)$ be a random vector with nonnegative coordinates having nonzero and finite variances. We prove concentration inequalities for $\mathbf{W}$ using size biased couplings that generalize the previous univariate results. Two applications on local dependence and counting patterns are provided.

研究の動機と目的

• 依存する確率的ベクトルの文脈で、一変量のサイズバイアスカップリング技術を多次元に拡張すること。
• 依存する確率変数の多次元関数的変数に対する漸近的でない濃度不等式を導出すること。
• 従来の研究と比較して、下側尾の単調性仮定を除去することで、より鋭い尾境界を提供すること。
• 二つの具体的な問題にフレームワークを適用すること：局所的に依存する確率変数とランダム順列におけるパターン数の数え上げ。
• カップリングノルムと分散パラメータを用いて、明示的な濃度率を確立すること。

提案手法

• 各成分 $W_i$ に対して、すべての適切な関数 $f$ に対して $\mathbb{E}[W_i f(\mathbf{W})] = \mu_i \mathbb{E}[f(\mathbf{W}^i)]$ を満たす、多次元のサイズバイアスカップリング $\mathbf{W}^i$ を定義する。
• ある定数 $K > 0$ に対して $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq K$ を仮定し、カップリングのずれを制限する。
• $K_1$ と $K_2$ を $K$、$\sigma_{(1)}$、および $\|\boldsymbol{\mu}/\boldsymbol{\sigma}\|_2$ から導出することで、正規化されたずれ $\frac{\mathbf{W} - \boldsymbol{\mu}}{\boldsymbol{\sigma}}$ に関する上尾と下尾の境界を導出する。
• 積分可能性を保証するため、$\|\boldsymbol{\theta}\|_2 \leq 2/K$ の範囲で $\mathbb{E}[e^{\boldsymbol{\theta}^t \mathbf{W}}] < \infty$ というモーメント母関数の条件を用いる。
• 二つの応用に対して明示的なカップリングを構築する：スライディングウィンドウによる局所的依存性と、順列の再順序によって得られるパターン数の数え上げ。
• 組合せ的議論によりカップリングの境界を検証し、パターン数の数え上げの状況では $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$ が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 依存する確率的ベクトルに対して、サイズバイアスカップリング技術を一変量から多次元に拡張できるか？
• RQ2 従来の研究と比較して、特に下側尾における単調性に関する仮定を弱めた条件下で、濃度不等式をどのように導出できるか？
• RQ3 カップリングのずれが $L^2$ で有界であるとき、多次元関数的変数の明示的な尾境界は何か？
• RQ4 導出された境界は、局所的に依存する確率変数とランダム順列におけるパターン数の数え上げにどのように適用できるか？
• RQ5 このフレームワークは、これらの応用において、既存の手法よりも鋭いか、より一般的な濃度結果をもたらすか？

主な発見

• 本稿では、GhoshとGoldstein（2015）の結果を改善し、単調性条件を除去することで、下側尾の境界を向上させた多次元濃度不等式を確立した。
• 上側尾については、$\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \succeq \mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2(K_1 + K_2\|\mathbf{t}\|_2)}\right)$ が成り立ち、ここで $K_1 = \frac{2K}{\sigma_{(1)}}\left\|\frac{\boldsymbol{\mu}}{\boldsymbol{\sigma}}\right\|_2$ および $K_2 = \frac{K}{2\sigma_{(1)}}$ である。
• 下側尾については、$\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \preceq -\mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2K_1}\right)$ が成り立ち、一変量の場合に比べ単調性を除去することで改善されている。
• 局所的依存性の設定では、カップリングノルムは $K = \sqrt{b}M$ で有界であり、ここで $b$ は重複する変数の最大数、$M$ は個々のジャンプサイズの最大値である。
• ランダム順列におけるパターン数の数え上げでは、カップリングノルムは $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$ で有界であり、$m$、$n$、$k$ を用いた $K_1$ と $K_2$ の明示的表現が得られる。
• 分散の下界 $\sigma_{(1)}^2 \geq \frac{n}{m!}\left(1 - \frac{2m-1}{m!}\right)$ を用いることで、$K_1$ と $K_2$ の定数をより大きくとることができ、境界が適切に定義されることを保証する。