[论文解读] High-dimensional $p$-norms

Gérard Biau, David M. Mason|arXiv (Cornell University)|Nov 4, 2013

Algorithms and Data Compression参考文献 13被引用 16

一句话总结

本文为高维 $p$-范数集中现象提供了严格的数学基础，证明在较弱的矩条件下方，当维度 $d \to \infty$ 时，归一化的 $p$-范数 $\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p$ 依概率收敛于 1。通过二阶 delta 方法，本文建立了 $p$-范数的渐近正态性与偏差校正，弥补了先前计算学习文献中依赖不完整或启发式论证的空白。

ABSTRACT

Let $\\bX=(X_1, \\hdots, X_d)$ be a $\\mathbb R^d$-valued random vector with i.i.d. components, and let $\\Vert\\bX\\Vert_p= (\\sum_{j=1}^d|X_j|^p)^{1/p}$ be its $p$-norm, for $p>0$. The impact of letting $d$ go to infinity on $\\Vert\\bX\\Vert_p$ has surprising consequences, which may dramatically affect high-dimensional data processing. This effect is usually referred to as the {\\it distance concentration phenomenon} in the computational learning literature. Despite a growing interest in this important question, previous work has essentially characterized the problem in terms of numerical experiments and incomplete mathematical statements. In the present paper, we solidify some of the arguments which previously appeared in the literature and offer new insights into the phenomenon.

研究动机与目标

• 为 i.i.d. 高维随机向量在维度 $d \to \infty$ 时的 $p$-范数 $\|\mathbf{X}\|_p$ 的渐近行为提供严格证明，解决先前计算学习文献中的不足之处。
• 为通常仅通过数值实验或不完整的概率陈述描述的距离集中现象，提供数学上严谨的解释。
• 利用二阶 delta 方法推导 $\mathbb{E}\|\mathbf{X}\|_p$ 的高阶渐近展开，校正 $p$-范数期望中的偏差。
• 分析当 $d \to \infty$ 且 $n \to \infty$ 时，最大与最小 $p$-范数之差 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ 的极限行为，阐明其缩放比例与概率收敛性。

提出的方法

• 将二阶 delta 方法应用于 $|X_j|^p$ 的经验均值，基于 $X_j$ 分布的正则性条件，推导 $\mathbb{E}\|\mathbf{X}\|_p$ 及其方差的渐近展开。
• 对函数 $\varphi(x) = x^{1/p}$ 在均值 $\mu = \mathbb{E}|X_1|^p$ 附近进行泰勒展开，利用 Hölder 不等式与 Rosenthal 不等式控制余项。
• 运用集中不等式与矩界（如 Petrov 和 Giné 等人的结果）控制样本均值 $\overline{Y}_d = d^{-1} \sum_{j=1}^d |X_j|^p$ 的尾概率与高阶矩。
• 利用切比雪夫不等式与矩假设，证明当 $d \to \infty$ 时，相对偏差 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ 依概率收敛于零。
• 分析高维下最大与最小 $p$-范数之差的渐近分布，表明其在期望下缩放为 $d^{1/p - 1/2}$。
• 通过光滑函数 $\varphi$ 的 delta 方法，推导 $\|\mathbf{X}\|_p$ 的渐近分布，证明 $\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ 在分布上收敛。

实验结果

研究问题

• RQ1 对于 i.i.d. 分量 $X_j$，当维度 $d \to \infty$ 时，$p$-范数 $\|\mathbf{X}\|_p$ 的渐近行为如何？
• RQ2 在矩条件成立下，$\|\mathbf{X}\|_p$ 的精确渐近分布是什么？其期望中的偏差如何校正？
• RQ3 为何相对标准差 $\sqrt{\text{Var}(\|\mathbf{X}\|_p)} / \mathbb{E}\|\mathbf{X}\|_p$ 在 $d \to \infty$ 时趋于零？其条件是什么？
• RQ4 当 $d \to \infty$ 且 $n \to \infty$ 时，样本中最大与最小 $p$-范数之差的行为如何？
• RQ5 哪些数学工具可严格证明高维最近邻搜索中距离集中现象的合理性？

主要发现

• 当 $d \to \infty$ 时，相对偏差 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ 依概率收敛于零，意味着高维向量集中在半径为 $\mathbb{E}\|\mathbf{X}\|_p$ 的球面上。
• 通过二阶 delta 方法推导出 $\|\mathbf{X}\|_p$ 的渐近分布，表明 $\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ 在分布上收敛。
• $\mathbb{E}\|\mathbf{X}\|_p$ 具有二阶展开式：$\mathbb{E}\|\mathbf{X}\|_p = (\mathbb{E}|X_1|^p)^{1/p} + \frac{\sigma^2 \varphi''(\mu)}{2d} + o(d^{-1})$，用于校正范数的偏差。
• 最大与最小 $p$-范数之差 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ 在期望下缩放为 $d^{1/p - 1/2}$，当 $p < 2$ 时趋于零，解释了距离的集中现象。
• 相对对比度 $\left(\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p\right) / \min_i \|\mathbf{X}_i\|_p$ 在 $d \to \infty$ 时依概率趋于零，确认了距离集中效应。
• 基于泰勒展开与矩界的方法论，严格验证了距离集中现象，弥补了先前启发式与数值研究中的空白。