[논문 리뷰] Small ball probabilities for linear images of high dimensional distributions

Mark Rudelson|arXiv (Cornell University)|2014. 01. 01.

Point processes and geometric inequalities참고 문헌 14인용 수 1

한 줄 요약

이 논문은 독립적인 좌표를 가진 고차원 랜덤 벡터의 선형 영상에 대한 소구간 확률 경계를 수립한다. 입력 벡터의 각 좌표가 길이 t인 간격에서 농도 함수가 p 이하로 유계이면, 선형 변환 AX는 반지름이 t\|A\|_{HS}인 구에 대해 최대 (Cp)^{0.9 r(A)}의 확률로 집중된다. 여기서 r(A)는 A의 안정 랭크이다. 주요 기여는 안정 랭크를 기반으로 한 날카운, 차원에 종속되지 않는 경계로서, 독립 랜덤 변수의 합과 투영에 대한 고전 결과를 임의의 선형 영상으로 일반화한다.

ABSTRACT

We study concentration properties of random vectors of the form $AX$, where $X = (X_1, ..., X_n)$ has independent coordinates and $A$ is a given matrix. We show that the distribution of $AX$ is well spread in space whenever the distributions of $X_i$ are well spread on the line. Specifically, assume that the probability that $X_i$ falls in any given interval of length $T$ is at most $p$. Then the probability that $AX$ falls in any given ball of radius $T \|A\|_{HS}$ is at most $(Cp)^{0.9 r(A)}$, where $r(A)$ denotes the stable rank of $A$ and $C$ is an absolute constant.

연구 동기 및 목표

• 입력 벡터의 좌표들이 독립일 때 AX의 집중 성질을 이해하기 위해.
• i.i.d. 랜덤 변수의 합과 투영에 대한 고전적 소구간 확률 결과를 임의의 선형 변환으로 일반화하기 위해.
• 입력 분포의 산란 정도(농도 함수로 측정됨)가 선형 사상에 의해 어떻게 전파되는지 정량화하기 위해.
• AX에 대한 소구간 확률의 감소 속도를 결정짓는 핵심 매개변수로 안정 랭크 r(A)를 식별하기 위해.
• 연속 및 일반(이산 또는 혼합) 분포에 모두 적용 가능한 민감하지 않은 경계를 제공하기 위해.

제안 방법

• 소구간 확률을 측정하기 위해 농도 함수 L(Z, t) = max_u P(\|Z - u\|_2 ≤ t)의 사용.
• Rogozin의 정리와 Ball의 정리(정육면체의 최대 초평면 절단)를 적용하여 독립 랜덤 변수의 합의 밀도를 유계로 제한.
• 특이값 기반의 스펙트럴 투영 P_l로 행렬 A를 이진 분해하여 AX의 노름을 재귀적으로 제어.
• 투영에 대해 농도 함수의 텐서화(Corollary 1.4)를 사용하여 PlX가 작은 노름을 가질 확률을 유계로 제한.
• 일반 부등식 (8.4) 유도: P(\|AX\|_2 ≤ M S_r(A)) ≤ (C M p)^r, 여기서 S_r(A)는 특이값 꼬리의 l2-노름이다.
• 연속 분포에서 일반 분포로의 결과 확장을 위해 컨볼루션 버전에 의한 근사화를 통한 스무딩 추론 적용.

실험 결과

연구 질문

• RQ1 독립 좌표를 가진 고차원 랜덤 벡터의 집중 성질이 선형 변환 AX를 통해 어떻게 전파되는가?
• RQ2 행렬 A의 안정 랭크 r(A)에 대해 소구간 확률 P(\|AX\|_2 ≤ t\|A\|_{HS})의 최적의 의존성은 무엇인가?
• RQ3 i.i.d. 랜덤 변수의 합에 대한 고전적 경계(예: 밀도가 √2 K 이하)는 임의의 행렬 A를 가진 일반 선형 영상으로 확장될 수 있는가?
• RQ4 개별 좌표의 농도 함수 L(X_i, t) ≤ p가 변환된 벡터 AX의 집중에 어떻게 영향을 미치는가?
• RQ5 지수 내의 매개변수 ε에 대한 날카운 의존성은 무엇이며, 실용적 응용을 위해 최적화할 수 있는가?

주요 결과

• 좌표 밀도가 K 이하로 유계인 연속 분포에 대해, 임의의 d차원 투영 PX의 밀도는 거의 모든 곳에서 (CK)^d 이하로 유계이다.
• 밀도가 K 이하로 유계된 독립 랜덤 변수의 합에 대해, ∑ a_j X_j (여기서 ∑ a_j^2 = 1)의 밀도는 √2 K 이하이며, 이 경계는 날카롭다.
• AX의 농도 함수는 L(AX, t\|A\|_{HS}) ≤ (Cε p)^{(1−ε)r(A)}를 만족하며, 여기서 ε ∈ (0,1)이다. 여기서 r(A)는 A의 안정 랭크이다.
• 이 경계는 차원에 종속되지 않으며, 안정 랭크를 핵심 스케일링 매개변수로 포함함으로써 고전 결과를 향상시킨다.
• 밀도가 K로 유계된 분포에 대해, 임의의 τ > 0에 대해 L(AX, τ \|A\|) ≤ (CKτ)^{r(A)}가 성립하여 소구간 반지름에 대한 손실 없는 의존성이 드러난다.
• 결과는 날카롭다. 즉, 추가 가정 없이 지수 (1−ε)r(A)를 r(A)보다 더 개선할 수 없으며, 상수 Cε = C/√ε는 ε와 상수 사이의 상충관계를 반영한다.