[論文レビュー] A simple proof for the multivariate Chebyshev inequality

Jorge Navarro|arXiv (Cornell University)|May 24, 2013

Optimal Experimental Design Methods参考文献 4被引用数 4

ひとこと要約

この論文は、有限の平均と正定値共分散行列をもつ任意の確率的ベクトルに対して、マハラノビス距離が $√{ε}$ より小さい楕円体内に、少なくとも $100(1 - n/\varepsilon)%$ の母集団が存在することを示す、単純な主成分に基づく証明を提示する。証明は直交的対角化とマルコフの不等式を活用し、チェン（2011）の結果を明確かつ教育的・理解しやすい形で導出する。

ABSTRACT

In this paper a simple proof of the Chebyshev's inequality for random vectors obtained by Chen (arXiv:0707.0805v2, 2011) is obtained. This inequality gives a lower bound for the percentage of the population of an arbitrary random vector X with finite mean E(X) and a positive definite covariance matrix V=Cov(X) whose Mahalanobis distance with respect to V to the mean E(X) is less than a fixed value. The proof is based on the calculation of the principal components.

研究の動機と目的

• 有限の平均と正定値共分散行列をもつ確率的ベクトルに対する多変量チェビシェフ不等式の、新しい初等的証明を提供すること。
• 主成分分析を用いて不等式を導出できることを示し、教育的・理解しやすさを向上させること。
• 共分散行列が特異である退化した場合にまで結果を拡張し、非ゼロ固有値のみを用いて調整すること。
• 回帰的文脈における条件付き推論への応用を示し、条件付き平均ベクトルの信頼領域を導出すること。

提案手法

• 共分散行列 $V$ に直交的対角化を適用し、$V = TDT^\top$ と表現する。ここで $D$ は固有値 $\lambda_i > 0$ を対角成分にもつ対角行列である。
• 確率的ベクトル $\mathbf{X}$ を $\mathbf{Y} = D^{-1/2}T^\top(\mathbf{X} - \mu)$ で変換し、共分散行列が単位行列となる標準化されたベクトルを得る。
• マハラノビス距離の二乗を $Z = (\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) = \mathbf{Y}^\top\mathbf{Y}$ と定義し、これは $\mathbf{Y}$ の成分の二乗和に等しい。
• マルコフの不等式を $Z$ に適用し、$\mathbb{E}[Z] = n$ であることに着目して、$\Pr(Z \geq \varepsilon) \leq n/\varepsilon$ を導出する。
• 特異な共分散行列の場合には、非退化部分空間（次元 $m-1$）に制限して変換を行い、境界を $1 - (m-1)/\varepsilon$ に調整する。
• 条件付き分布、例えば $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$ に不等式を適用し、回帰関数回りの信頼領域を構築する。

実験結果

リサーチクエスチョン

• RQ1 主成分分析を用いた方法で、多変量チェビシェフ不等式を、入門的多変量統計学の授業でも理解しやすい形で証明できるか？
• RQ2 有限の平均と共分散のみが与えられた場合に、確率的ベクトルがマハラノビス距離の楕円体内に存在する確率の、最もタイトな下限は何か？
• RQ3 共分散行列が特異である場合、不等式はどのように振る舞い、分布の有効次元に応じて境界を調整できるか？
• RQ4 回帰モデルから生じるような条件付き分布へと不等式を拡張でき、条件付き平均ベクトルの信頼領域を提供できるか？
• RQ5 導出された境界と多変量正規分布における正確な確率との関係は何か？カイ二乗分布と比較するとどうなるか？

主な発見

• すべての $\varepsilon > 0$ および有限の平均と正定値共分散行列をもつすべての確率的ベクトル $\mathbf{X}$ に対して、不等式 $\Pr((\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) \geq \varepsilon) \leq n/\varepsilon$ が成り立つ。
• $\varepsilon = 4n$ の場合、不等式により、マハラノビス距離の半径 $\sqrt{4n}$ の楕円体内に少なくとも75%の母集団が存在することが保証される。
• 確率的ベクトル $\mathbf{X}$ が多変量正規分布に従う場合、マハラノビス距離 $Z$ は $\chi^2_n$ 分布に従い、$n=2$ のとき $\Pr(Z < 8) \approx 0.9817$ となり、下限の0.75を上回る。
• ランク $m-1$ の退化ケースでは、境界は $\Pr(\cdots < \varepsilon) \geq 1 - (m-1)/\varepsilon$ に変更され、最初の $m-1$ 個の主成分が張る部分空間で有効である。
• 条件付き分布 $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$ に対しては、不等式により $\Pr([\mathbf{Y} - \mu(\mathbf{x})]^\top [V(\mathbf{x])}^{-1}[\mathbf{Y} - \mu(\mathbf{x})] \geq \varepsilon \mid \mathbf{X} = \mathbf{x}) \leq (n-k)/\varepsilon$ が得られ、回帰関数の信頼領域が構築できる。
• 証明は初等的であり、主成分とマルコフの不等式のみに依存しており、標準的な多変量統計教科書への組み込みに適している。