[论文解读] A simple proof for the multivariate Chebyshev inequality

Jorge Navarro|arXiv (Cornell University)|May 24, 2013

Optimal Experimental Design Methods参考文献 4被引用 4

一句话总结

本文提出了一种基于主成分的多变量切比雪夫不等式简洁证明，表明对于任意具有有限均值和正定协方差矩阵的随机向量，至少 $100(1 - n/
\varepsilon)
\%$ 的总体位于马氏距离小于 $\sqrt{\varepsilon}$ 的椭球内。该证明利用正交对角化和马尔可夫不等式，提供了陈（2011）结果的清晰且适合教学的推导。

ABSTRACT

In this paper a simple proof of the Chebyshev's inequality for random vectors obtained by Chen (arXiv:0707.0805v2, 2011) is obtained. This inequality gives a lower bound for the percentage of the population of an arbitrary random vector X with finite mean E(X) and a positive definite covariance matrix V=Cov(X) whose Mahalanobis distance with respect to V to the mean E(X) is less than a fixed value. The proof is based on the calculation of the principal components.

研究动机与目标

• 提供一种针对具有有限均值和正定协方差矩阵的随机向量的多变量切比雪夫不等式的全新、初等证明。
• 展示该不等式可通过主成分分析推导，从而增强教学可及性。
• 通过仅使用非零特征值，将结果扩展到协方差矩阵为奇异的退化情形。
• 通过推导条件均值向量的置信区域，展示其在条件推断中的应用，特别是在回归情境中。

提出的方法

• 对协方差矩阵 $V$ 进行正交对角化，表示为 $V = TDT^\top$，其中 $D$ 为对角矩阵，其对角线元素为正特征值 $\lambda_i$。
• 通过 $\mathbf{Y} = D^{-1/2}T^\top(\mathbf{X} - \mu)$ 对随机向量 $\mathbf{X}$ 进行变换，得到协方差矩阵为单位阵的标准化向量。
• 定义马氏距离平方为 $Z = (\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) = \mathbf{Y}^\top\mathbf{Y}$，其等于 $\mathbf{Y}$ 各分量平方和。
• 对 $Z$ 应用马尔可夫不等式，注意到 $\mathbb{E}[Z] = n$，从而导出 $\Pr(Z \geq \varepsilon) \leq n/\varepsilon$。
• 对于奇异协方差矩阵的情形，将变换限制在维数为 $m-1$ 的非退化子空间上，将界调整为 $1 - (m-1)/\varepsilon$。
• 将不等式应用于条件分布，如 $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$，以构建回归函数周围的置信区域。

实验结果

研究问题

• RQ1 能否通过主成分分析以一种既简洁又适合入门级多元统计课程的方式证明多变量切比雪夫不等式？
• RQ2 在仅知有限均值和协方差的前提下，随机向量位于马氏距离椭球内的概率的最紧下界是什么？
• RQ3 当协方差矩阵为奇异时，该不等式的行为如何？能否将其界调整至分布的有效维度？
• RQ4 该不等式能否扩展至条件分布（如回归模型中出现的分布），以提供条件均值向量的置信区域？
• RQ5 所导出的界与多变量正态分布情形下的精确概率之间有何关系？与卡方分布相比如何？

主要发现

• 对于所有 $\varepsilon > 0$ 及所有具有有限均值和正定协方差矩阵的随机向量 $\mathbf{X}$，不等式 $\Pr((\mathbf{X} - \mu)^\top V^{-1}(\mathbf{X} - \mu) \geq \varepsilon) \leq n/\varepsilon$ 成立。
• 当 $\varepsilon = 4n$ 时，该不等式保证至少 75% 的总体位于马氏距离为 $\sqrt{4n}$ 的椭球内。
• 当 $\mathbf{X}$ 服从多元正态分布时，马氏距离 $Z$ 服从 $\chi^2_n$ 分布，且当 $n=2$ 时，$\Pr(Z < 8) \approx 0.9817$，超过下界 0.75。
• 在秩为 $m-1$ 的退化情形下，界变为 $\Pr(\cdots < \varepsilon) \geq 1 - (m-1)/\varepsilon$，该结果适用于前 $m-1$ 个主成分张成的子空间。
• 对于如 $\mathbf{Y} \mid \mathbf{X} = \mathbf{x}$ 的条件分布，不等式给出 $\Pr([\mathbf{Y} - \mu(\mathbf{x})]^\top [V(\mathbf{x})]^{-1}[\mathbf{Y} - \mu(\mathbf{x})] \geq \varepsilon \mid \mathbf{X} = \mathbf{x}) \leq (n-k)/\varepsilon$，从而为回归函数提供置信区域。
• 该证明方法简单，仅基于主成分和马尔可夫不等式，因此适合编入标准多元统计教科书中。