[論文レビュー] A Linear Programming Inequality with Applications to Concentration of Measure

Leonid Kontorovich|ArXiv.org|Oct 24, 2006

Markov Chains and Monte Carlo Methods参考文献 6被引用数 3

ひとこと要約

本稿では、重み付きハミング距離に基づく関数の双対ノルムを再帰的に定義された関数的によって評価する新しい線形計画法的不等式を提示する。これにより、任意の正の重みを持つ積空間上でのリプシッツ関数に対する依存性を持つ確率変数の集中不等式をより厳密に評価できる。主な貢献は、従来のマルティングル-差分不等式を重み付き設定に一般化し、任意の依存構造を持つ確率変数に対し、指数的尾部不等式の改善をもたらす点にある。

ABSTRACT

We prove an elementary yet useful inequality bounding the maximal value of certain linear programs. This leads directly to a bound on the martingale difference for arbitrarily dependent random variables, providing a generalization of some recent concentration of measure results. The linear programming inequality may be of independent interest.

研究の動機と目的

• 有限積空間上の関数の重み付きハミング距離に関する双対ノルムを評価する一般線形計画法的不等式を導出すること。
• 従来のマルティングル-差分の集中不等式結果を、任意の正の重みベクトルへと拡張し、以前の研究で得られた非重み付き結果を一般化すること。
• 再帰的関数的ノルムを用いて、依存構造を有するリプシッツ関数の分散を統一的に評価する枠組みを提供すること。
• 任意に依存する確率変数に対して、リプシッツ関数の平均からの逸脱確率に対してタイトな指数的尾部不等式を確立すること。

提案手法

• 関数値の非負部分の重み付き和を再帰的に計算する関数的 $\Psi_{w,n}(\kappa)$ を導入し、座標ごとの射影を再帰的に行う。
• 2つの主要なノルムを定義する：重み付きハミング距離下での1リプシッツ関数との内積の上界としての $\Phi_{w}$-ノルム、および関数の符号反転における $\Psi_{w,n}$ の最大値としての $\Psi_{w}$-ノルム。
• 関数空間上の周辺射影および断面作用素の性質を用いて、数学的帰納法により不等式 $\|\kappa\|_{\Phi,w} \leq \|\kappa\|_{\Psi,w}$ を証明する。
• この不等式を用いて、条件付き依存関係を符号化する行列 $\Delta_n$ の $\ell_2$-ノルムと関連づけることにより、マルティングル-差分の分散に対する評価を得る。
• $\bar{\eta}_{ij}$ として条件付き依存強度を表す行列 $\Delta_n$ の要素を用い、分散評価を $\|\Delta_n w\|_2^2$ の形で表現する。
• 有界差分法を用いて集中不等式を導出し、逸脱確率が $t^2 / (\|f\|_{\text{Lip},w}^2 \|\Delta_n\|_2^2 \|w\|_2^2)$ の指数関数的に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 重み付きハミング距離下での関数の双対ノルムを評価する一般線形計画法的不等式を、下位の確率測度に依存せずに確立できるか？
• RQ2 任意に依存する確率変数に対して、行列 $\Delta_n$ に符号化された依存構造を用いてマルティングル-差分の分散をどのように評価できるか？
• RQ3 新しい不等式は、非i.i.d.成分を有する積空間上でのリプシッツ関数に対する既存の集中不等式をどの程度改善するか？
• RQ4 再帰的関数的 $\Psi_{w,n}$ を用いて、任意の重みと依存構造を有する関数のタイトで計算可能な分散評価を導出できるか？
• RQ5 非重み付きから重み付きハミング距離への一般化は、集中不等式における指数的尾部減衰を保持するか？

主な発見

• すべての $w \in \mathbb{R}_+^n$ およびすべての $\kappa \in K_n$ に対して不等式 $\|\kappa\|_{\Phi,w} \leq \|\kappa\|_{\Psi,w}$ が成り立ち、重み付きハミング距離下での関数の双対ノルムに対するタイトな評価が得られる。
• マルティングル-差分列の分散は $\sum_{i=1}^n \bar{V}_i^2(f) \leq \|f\|_{\text{Lip},w}^2 \|\Delta_n w\|_2^2$ を満たす。ここで $\Delta_n$ は変数間の条件付き依存強度を符号化している。
• 任意の $f: \mathcal{S}^n \to \mathbb{R}$ に対して、尾部確率は $\mathbf{P}\{ |f - \mathbf{E}f| > t \} \leq 2\exp\left(-\frac{t^2}{2\|f\|_{\text{Lip},w}^2 \|\Delta_n\|_2^2 \|w\|_2^2}\right)$ を満たし、これにより従来の結果が重み付き設定に一般化される。
• 重み $w_i \equiv 1$ の場合に既知の非重み付き結果に還元され、かつ可算状態空間へ自然に拡張可能である点で、この評価はタイトである。
• 再帰的構造を持つ $\Psi_{w,n}$ により、ノルムの効率的計算が可能であり、独立性を仮定しない分散評価の導出が可能である。
• 行列 $\Delta_n$ を用いることで、任意の依存構造を集中不等式に体系的に組み込む方法が提供され、変数間の条件付き期待値を捉えている。