[論文レビュー] High-dimensional $p$-norms

Gérard Biau, David M. Mason|arXiv (Cornell University)|Nov 4, 2013

Algorithms and Data Compression参考文献 13被引用数 16

ひとこと要約

本稿は、高次元における $p$-ノルムの集中現象について、厳密な数学的基盤を提供する。$d \to \infty$ のとき、$\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p$ が弱収束する条件を、弱いモーメント条件のもとで証明する。2次デルタ法を用いて、$p$-ノルムの漸近正規性とバイアス補正を確立し、従来の計算学習分野における不完全または直感的な議論のギャップを解消する。

ABSTRACT

Let $\\bX=(X_1, \\hdots, X_d)$ be a $\\mathbb R^d$-valued random vector with i.i.d. components, and let $\\Vert\\bX\\Vert_p= (\\sum_{j=1}^d|X_j|^p)^{1/p}$ be its $p$-norm, for $p>0$. The impact of letting $d$ go to infinity on $\\Vert\\bX\\Vert_p$ has surprising consequences, which may dramatically affect high-dimensional data processing. This effect is usually referred to as the {\\it distance concentration phenomenon} in the computational learning literature. Despite a growing interest in this important question, previous work has essentially characterized the problem in terms of numerical experiments and incomplete mathematical statements. In the present paper, we solidify some of the arguments which previously appeared in the literature and offer new insights into the phenomenon.

研究の動機と目的

• i.i.d. 高次元確率的ベクトル $\mathbf{X}$ の $p$-ノルム $\|\mathbf{X}\|_p$ の漸近的挙動を、$d \to \infty$ のとき厳密に確立すること。これにより、従来の計算学習分野における不足を是正する。
• 距離集中現象の数学的裏付けを提供すること。これは、しばしば数値実験や不完全な確率的記述でのみ説明されてきた。
• 2次デルタ法を用いて、$\mathbb{E}\|\mathbf{X}\|_p$ の高次漸近展開を導出し、$p$-ノルムの期待値におけるバイアスを是正すること。
• $d \to \infty$ および $n \to \infty$ の両方の極限において、$\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ の極限挙動を分析し、そのスケーリングおよび確率的収束を明確にすること。

提案手法

• $|X_j|^p$ の標本平均に2次デルタ法を適用し、$X_j$ の分布に正則性条件が成り立つ場合に、$\mathbb{E}\|\mathbf{X}\|_p$ 及びその分散の漸近展開を導出する。
• 関数 $\varphi(x) = x^{1/p}$ を $\mu = \mathbb{E}|X_1|^p$ のまわりでテイラー展開し、ホルダー不等式およびローゼンタール不等式を用いて剰余項を評価する。
• 集中不等式およびモーメントバウンド（ピエトロフやギニらの結果を含む）を用いて、標本平均 $\overline{Y}_d = d^{-1} \sum_{j=1}^d |X_j|^p$ の尾確率および高次モーメントを制御する。
• チェビシェフの不等式とモーメント仮定を用いて、相対的偏差 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ が $d \to \infty$ のとき確率的に 0 に収束することを証明する。
• 高次元における最大・最小 $p$-ノルムの差 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ の漸近的分布を分析し、期待値として $d^{1/p - 1/2}$ のスケーリングを示す。
• 滑らかな関数 $\varphi$ を用いたデルタ法により、$\|\mathbf{X}\|_p$ の漸近的分布を導出し、$\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ が分布収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 成分 $X_j$ を持つ高次元ベクトル $\mathbf{X}$ に対して、$d \to \infty$ のとき $p$-ノルム $\|\mathbf{X}\|_p$ はどのように漸近的に振る舞うか？
• RQ2 モーメント条件のもとで、$\|\mathbf{X}\|_p$ の正確な漸近的分布は何か？ また、その期待値におけるバイアスはどのように是正できるか？
• RQ3 相対的標準偏差 $\sqrt{\text{Var}(\|\mathbf{X}\|_p)} / \mathbb{E}\|\mathbf{X}\|_p$ が $d \to \infty$ のときなぜ 0 に収束するのか？ その条件は何か？
• RQ4 $d \to \infty$ および $n \to \infty$ のとき、標本内での最大・最小 $p$-ノルムの差はどのように振る舞うか？
• RQ5 高次元近隣探索における距離集中現象を厳密に裏付ける数学的道具は何か？

主な発見

• 相対的偏差 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ は $d \to \infty$ のとき確率的に 0 に収束する。これは、高次元のベクトルが $\mathbb{E}\|\mathbf{X}\|_p$ を半径とする球面上に集中することを意味する。
• 2次デルタ法を用いて $\|\mathbf{X}\|_p$ の漸近的分布を導出し、$\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ が分布収束することを示した。
• $\mathbb{E}\|\mathbf{X}\|_p$ は2次展開が可能であり、$\mathbb{E}\|\mathbf{X}\|_p = (\mathbb{E}|X_1|^p)^{1/p} + \frac{\sigma^2 \varphi''(\mu)}{2d} + o(d^{-1})$ と表せる。これはノルムの期待値におけるバイアス補正を可能にする。
• 最大・最小 $p$-ノルムの差 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ の期待値は $d^{1/p - 1/2}$ に比例する。$p < 2$ のときこれは 0 に収束するため、距離の集中が説明される。
• 相対的差 $\left(\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p\right) / \min_i \|\mathbf{X}_i\|_p$ は $d \to \infty$ のとき確率的に 0 に収束する。これは距離集中効果を確認する。
• テイラー展開とモーメントバウンドに基づく証明技法により、距離集中現象が厳密に正当化され、従来のヒューリスティックおよび数値的研究におけるギャップが解消された。