[논문 리뷰] High-dimensional $p$-norms

Gérard Biau, David M. Mason|arXiv (Cornell University)|2013. 11. 04.

Algorithms and Data Compression참고 문헌 13인용 수 16

한 줄 요약

이 논문은 고차원에서의 $p$-노름 농도 현상에 대한 엄밀한 수학적 기반을 제공하며, 성분이 i.i.d.인 경우 차원 $d \to \infty$일 때 정규화된 $p$-노름 $\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p$가 약한 수렴으로 1에 수렴함을 증명한다. 이는 미약한 모멘트 조건 하에 성립한다. 이 논문은 두 번째 차수 델타 방법을 통해 $p$-노름의 점근 정규성과 편향 보정을 수립하여, 이전의 계산 학습 문헌에서 부족하거나 힌트에 의존하는 주장들이 남긴 격차를 메운다.

ABSTRACT

Let $\\bX=(X_1, \\hdots, X_d)$ be a $\\mathbb R^d$-valued random vector with i.i.d. components, and let $\\Vert\\bX\\Vert_p= (\\sum_{j=1}^d|X_j|^p)^{1/p}$ be its $p$-norm, for $p>0$. The impact of letting $d$ go to infinity on $\\Vert\\bX\\Vert_p$ has surprising consequences, which may dramatically affect high-dimensional data processing. This effect is usually referred to as the {\\it distance concentration phenomenon} in the computational learning literature. Despite a growing interest in this important question, previous work has essentially characterized the problem in terms of numerical experiments and incomplete mathematical statements. In the present paper, we solidify some of the arguments which previously appeared in the literature and offer new insights into the phenomenon.

연구 동기 및 목표

• i.i.d. 고차원 랜덤 벡터 $\mathbf{X}$의 $p$-노름 $\|\mathbf{X}\|_p$ 가 차원 $d \to \infty$일 때의 점근적 행동을 엄밀히 규명함으로써, 이전의 계산 학습 문헌에서의 부족함을 해결한다.
• 일반적으로 수치 실험 또는 불완전한 확률적 진술로만 기술되는 거리 농도 현상에 대해 수학적으로 타당한 근거를 제공한다.
• 두 번째 차수 델타 방법을 사용하여 $\mathbb{E}\|\mathbf{X}\|_p$의 고차항 점근 전개를 유도함으로써, $p$-노름 기대값의 편향을 수정한다.
• 모든 $d \to \infty$ 및 $n \to \infty$일 때, $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$의 극한 행동을 분석하여 그 척도와 확률적 수렴 성질을 명확히 한다.

제안 방법

• 분포의 성분에 대한 규칙성 조건 하에서, $|X_j|^p$의 표본 평균에 두 번째 차수 델타 방법을 적용하여 $\mathbb{E}\|\mathbf{X}\|_p$와 그 분산에 대한 점근 전개를 도출한다.
• 함수 $\varphi(x) = x^{1/p}$를 평균 $\mu = \mathbb{E}|X_1|^p$ 주변에서 타일러 전개하고, 헬더 및 로젠탈 부등식을 통해 나머지 항을 유계화한다.
• 포르트로프 및 진네 등에서 유도된 농도 부등식과 모멘트 유계를 사용하여 표본 평균 $\overline{Y}_d = d^{-1} \sum_{j=1}^d |X_j|^p$의 尾 확률과 고차 모멘트를 제어한다.
• 체비셰프 부등식과 모멘트 가정을 사용하여, 상대 편차 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ 이 $d \to \infty$일 때 확률적 수렴으로 0에 수렴함을 증명한다.
• 고차원에서의 대비 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ 의 점근 분포를 분석하여, 기대값에서의 척도가 $d^{1/p - 1/2}$ 임을 보인다.
• 매끄러운 함수 $\varphi$를 사용한 델타 방법을 적용하여 $\|\mathbf{X}\|_p$ 의 점근 분포를 도출함으로써, $\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ 가 분포 수렴으로 성립함을 증명한다.

실험 결과

연구 질문

• RQ1 i.i.d. 성분 $X_j$ 를 가진 고차원 벡터 $\mathbf{X}$ 에서 차원 $d \to \infty$ 일 때 $p$-노름 $\|\mathbf{X}\|_p$ 는 어떻게 점근적으로 행동하는가?
• RQ2 모멘트 조건 하에서 $\|\mathbf{X}\|_p$ 의 정확한 점근 분포는 무엇이며, 그 기대값의 편향은 어떻게 수정할 수 있는가?
• RQ3 相対 표준편차 $\sqrt{\text{Var}(\|\mathbf{X}\|_p)} / \mathbb{E}\|\mathbf{X}\|_p$ 가 왜 $d \to \infty$ 일 때 0에 수렴하는가? 이러한 현상이 성립하기 위한 조건은 무엇인가?
• RQ4 표본 내 최대 및 최소 $p$-노름 간의 대비는 $d \to \infty$ 및 $n \to \infty$ 일 때 어떻게 행동하는가?
• RQ5 고차원 최근접 이웃 검색에서의 거리 농도 현상을 엄밀히 정당화할 수 있는 수학적 도구는 무엇인가?

주요 결과

• 상대 편차 $|\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1|$ 는 $d \to \infty$ 일 때 확률적 수렴으로 0에 수렴하며, 이는 고차원 벡터가 기대값 $\mathbb{E}\|\mathbf{X}\|_p$ 를 중심으로 한 구면에 집중됨을 의미한다.
• 두 번째 차수 델타 방법을 통해 $\|\mathbf{X}\|_p$ 의 점근 분포를 도출하였으며, $\sqrt{d}(\|\mathbf{X}\|_p / \mathbb{E}\|\mathbf{X}\|_p - 1) \to \mathcal{N}(0, \sigma^2 \varphi'(\mu)^2)$ 가 분포 수렴으로 성립함을 보였다.
• $\mathbb{E}\|\mathbf{X}\|_p$ 는 두 번째 차수 전개를 갖는다: $\mathbb{E}\|\mathbf{X}\|_p = \left(\mathbb{E}|X_1|^p\right)^{1/p} + \frac{\sigma^2 \varphi''(\mu)}{2d} + o(d^{-1})$, 이는 노름의 기대값에서의 편향을 수정한다.
• 대비 $\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p$ 는 기대값에서 $d^{1/p - 1/2}$ 의 척도를 가지며, 이는 $p < 2$ 일 때 0으로 수렴함을 보여 거리 농도 현상을 설명한다.
• 상대 대비 $\left(\max_i \|\mathbf{X}_i\|_p - \min_i \|\mathbf{X}_i\|_p\right) / \min_i \|\mathbf{X}_i\|_p$ 는 $d \to \infty$ 일 때 확률적으로 0에 수렴함을 보여 거리 농도 효과를 확인한다.
• 타일러 전개와 모멘트 유계를 기반으로 한 증명 기법은 거리 농도 현상을 엄밀히 검증하며, 이는 이전의 힌트나 수치 연구에서 남아 있던 격차를 해결한다.