[논문 리뷰] Detailed proof of Nazarov's inequality

Victor Chernozhukov, Denis Chetverikov외 1명|arXiv (Cornell University)|2017. 11. 29.

Machine Learning and Algorithms참고 문헌 3인용 수 21

한 줄 요약

이 논문은 나자로프의 부등식에 대한 상세한 증명을 제공하며, 소규모 변형에 대한 가우시안 벡터의 확률 증분에 대한 날카로운 경계를 확립한다. 기하 확률과 볼록 다면체의 면에 대한 표면 측도 적분을 활용하여, p차원 표준 가우시안 벡터가 이동된 초평면 하에서 꼬리 확률의 차이가 δ(√(2 log p) + 2) 이내로 제한됨을 보여준다.

ABSTRACT

The purpose of this note is to provide a detailed proof of Nazarov's inequality stated in Lemma A.1 in Chernozhukov, Chetverikov, and Kato (2017, Annals of Probability).

연구 동기 및 목표

• 체르노조크우크 등 (2017)의 논문 레이마 A.1에 기재된 나자로프의 부등식에 대한 완전하고 엄밀한 증명을 제공하는 것.
• 임계값 벡터의 소규모 이동에 따른 다변량 가우시안 꼬리 확률의 민감도에 대한 균일한 경계를 설정하는 것.
• 편향 없는 분산을 가진 중심 가우시안 벡터에 대해 확률 증분 P(Y ≤ y + δ) − P(Y ≤ y)의 행동을 분석하는 것.
• K(δ)\K의 볼록 다면체 집합의 면들에 대한 기하 분해를 통해 확률 증분을 분해하는 것.
• p개의 중심 가우시안 선형 형식의 최대값의 누적분포함수의 우측 도함수에 대한 날카로운 상한을 도출하는 것.

제안 방법

• 누적분포함수 G(t) = P(max_j(a_j’X − b_j) ≤ t)의 우측 도함수 G’(t)의 적분으로서 확률 증분을 표현하는 것.
• 문제를 t = 0에서의 우측 도함수를 bound하는 것으로 단순화하며, lim_{δ↓0} P(X ∈ K(δ)\K)/δ를 분석하는 것.
• 집합 차이 K(δ)\K를 볼록 다면체 K의 면 F에 관련된 영역 N_F(δ)로 분해하는 것.
• 각 면 F에 대해 정규직교 좌표계와 외부 법선 벡터 v를 사용하여 표면 적분 매개변수화를 적용하여, γ_p(N_F(δ))를 F 위의 적분으로 표현하는 것.
• 가우시안 밀도 φ_p(x) = (2π)^{-p/2} e^{-||x||^2/2}를 사용하고, lim_{δ↓0} γ_p(N_F(δ))/δ = ∫_F φ_p(x) dσ(x)를 도출하는 것.
• 기원으로부터 면까지의 거리 dist(0,F)를 사용하여 표면 적분을 bound하며, ∫_F φ_p(x) dσ(x) ≤ (dist(0,F) + 1) γ_p(N_F)라는 부등식을 사용하는 것.

실험 결과

연구 질문

• RQ1 편향 없는 분산을 가진 중심 가우시안 벡터에 대해 확률 증분 P(Y ≤ y + δ) − P(Y ≤ y)에 대한 가장 날카로운 가능한 상한은 무엇인가?
• RQ2 다변량 가우시안 꼬리 확률의 민감도는 차원 p와 변형 크기 δ에 따라 어떻게 척도가 변하는가?
• RQ3 p개의 가우시안 선형 형식의 최대값의 누적분포함수의 우측 도함수는 균일하게 유계가 될 수 있는가?
• RQ4 기원으로부터의 거리가 dist(0,F) > √(2 log p)인 면들은 총 확률 증분에 어떤 기여를 하는가?
• RQ5 볼록 다면체의 면들에 대한 기하 분해는 고차원 가우시안 확률에서 날카로운 경계를 도출하는 데 어떻게 활용될 수 있는가?

주요 결과

• 모든 δ > 0에 대해 확률 증분 P(X ∈ K(δ)\K)는 δ(√(2 log p) + 2) 이내로 제한되며, 이는 나자로프의 부등식을 증명한다.
• 누적분포함수 G(t)의 t = 0에서의 우측 도함수는 G’_+(0) ≤ √(2 log p) + 2로 유계이며, 초평면의 모든 구성에 대해 균일하다.
• 기원으로부터의 거리가 dist(0,F) > √(2 log p)인 면들은 가우시안 밀도의 지수적 감쇠로 인해 총 확률 증분에 최대 1의 기여를 한다.
• 기원으로부터의 거리가 dist(0,F) ≤ √(2 log p)인 면들은 표면 적분이 (dist(0,F) + 1)배의 가우시안 측도를 가진 정규 코너의 측도로 제한되므로 최대 √(2 log p) + 1의 기여를 한다.
• 모든 면들의 총 기여는 (√(2 log p) + 1) + 1 = √(2 log p) + 2로 제한되며, 이는 증명을 완성한다.
• 이 경계는 높은 차원에서의 측도 집중 현상에서 자연스럽게 √(2 log p)의 의존성이 유도되므로 날카로운 경계이다.