[論文レビュー] Concentration Inequalities for Bounded Random Vectors

Xinjia Chen|arXiv (Cornell University)|Aug 30, 2013

Probability and Risk Models参考文献 2被引用数 6

ひとこと要約

本稿は、確率単体に制約された有界な確率的ベクトルに対して、ハイフディングの不等式を多変量に一般化した、多変量の濃度不等式を導出する。主な貢献は、標本平均ベクトルがその期待値から逸脱する裾確率に対する、きめ細かな上界を、平均ベクトルとしきい値ベクトルを含む尤度比の積として表現したものであり、部分順序制約のもとで有効である。

ABSTRACT

We derive simple concentration inequalities for bounded random vectors, which generalize Hoeffding's inequalities for bounded scalar random variables. As applications, we apply the general results to multinomial and Dirichlet distributions to obtain multivariate concentration inequalities.

研究の動機と目的

• 成分の和が1以下で非負である多変量設定における、有界な確率的ベクトルに対する鋭い濃度不等式を導出すること。
• ハイフディングの不等式のようなスカラー濃度不等式を、単体制約を満たすベクトル値確率変数へと拡張すること。
• 標本平均ベクトルがその期待値から逸脱する裾確率に対する、計算可能な上界を提供すること。
• 一般結果を多項分布やディリクレ分布などの特定の分布に応用し、多変量統計モデルにおける確率的解析を可能にすること。

提案手法

• 有界な確率的ベクトルを平行移動およびスケーリングすることで、確率単体上に位置するものに変換し、単体制約下での解析を可能にする。
• 指数的チフトを用いた多変量のマルコフの不等式を用いて、標本平均ベクトルの裾確率を上界で抑え込む。
• しきい値ベクトルから導かれる最適なラグランジュ乗数を選択することで、指数的バインドを最小化するための変分最適化技術を適用する。
• 関数 $ \mathscr{M}(t_1,\dots,t_k) = -\sum_{\ell=1}^k t_\ell z_\ell + \ln\left[\mu_0 + \sum_{\ell=1}^k \mu_\ell \exp(t_\ell)\right] $ を用いて臨界な上界を導出し、特定の $ t_\ell $ 値で最小化される。
• 最適な $ t_\ell = \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $ が、$ \boldsymbol{z} \leq \boldsymbol{\mu} $ の条件下で最もきめ細かな上界を与えることを示す。
• 対数パーティション関数の凸性とジェンセンの不等式を用いて、不等式 $ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $ を証明する。

実験結果

リサーチクエスチョン

• RQ1 ハイフディング型の濃度不等式を、単体に制約された多変量確率的ベクトルへとどのように拡張できるか？
• RQ2 標本平均が期待値から部分順序の意味で逸脱する確率に対する、最もきめ細かな上界は何か？
• RQ3 導出された不等式は、多項分布やディリクレ分布といった古典的な多変量分布に効果的に応用可能か？
• RQ4 多変量の場合に、バインドを最小化するための最適な指数的チフトパラメータは何か？
• RQ5 単体制約の構造は、得られる濃度不等式の形ときめ細かさにどのように影響するか？

主な発見

• 本稿は、多変量濃度不等式を確立した：$ \Pr\{\overline{\boldsymbol{\mathcal{X}}}_n \leq \boldsymbol{z}\} \leq \prod_{\ell=0}^k \left(\frac{\mu_\ell}{z_\ell}\right)^{n z_\ell} $（$ \boldsymbol{z} \leq \boldsymbol{\mu} $ のとき）、ハイフディングのスカラー不等式を一般化する。
• 上界は指数的チフトとラグランジュ乗数の最適化により導出され、最適な $ t_\ell $ 値は明示的に $ \ln\left(\frac{z_\ell \mu_0}{z_0 \mu_\ell}\right) $ として与えられる。
• 各確率的ベクトルの成分の和が1以下で非負であるという条件のもとで不等式が成り立ち、自然な多変量制約をモデル化する。
• 多項分布では、上界は標本頻度ベクトルに直接適用され、真の確率ベクトルからの逸脱に関する裾確率の上界を提供する。
• ディリクレ分布では、上界は事後平均に適用され、共役事前分布下でのベイズ推定における濃度結果を提供する。
• 導出された上界はきめ細かく、大標本漸近的条件下でのKullback-Leibler発散の形をとることから、最適性が示唆される。