[論文レビュー] Detailed proof of Nazarov's inequality

Victor Chernozhukov, Denis Chetverikov+1 more|arXiv (Cornell University)|Nov 29, 2017

Machine Learning and Algorithms参考文献 3被引用数 21

ひとこと要約

この論文は、ガウス型ベクトルの小さな摂動に対する確率増分の鋭い上限を確立するナザロフの不等式の詳細な証明を提供する。p次元の標準ガウス型ベクトルがシフトされた超平面の下での尾確率の差は、δ(√(2 log p) + 2)で有界であることが示され、幾何確率および凸多面体の面における面積測度の積分を用いる。

ABSTRACT

The purpose of this note is to provide a detailed proof of Nazarov's inequality stated in Lemma A.1 in Chernozhukov, Chetverikov, and Kato (2017, Annals of Probability).

研究の動機と目的

• Chernozhukovら（2017）の補題A.1に記載されたナザロフの不等式の完全かつ厳密な証明を提供すること。
• しきい値ベクトルの小さなシフトに対する多変量ガウス型尾確率の感度の均一な上限を確立すること。
• 分散が有界な中心化ガウス型ベクトルについて、確率増分P(Y ≤ y + δ) − P(Y ≤ y)の挙動を分析すること。
• 凸多面体集合K(δ)\Kにおける面に沿った幾何的分解を用いて確率増分を分解すること。
• p個の中心化ガウス型線形形式の最大値の累積分布関数の右微分係数のタイトな上界を導出すること。

提案手法

• 累積分布関数G(t) = P(max_j(a_j’X − b_j) ≤ t)の右微分係数G’(t)の積分として確率増分を表現すること。
• 問題をt = 0における右微分係数の上限に還元し、極限lim_{δ↓0} P(X ∈ K(δ)\K)/δを分析すること。
• 集合差K(δ)\Kを凸多面体Kの各面Fに関連する領域N_F(δ)に分解すること。
• 各面F上で正規直交座標と外向き法線ベクトルvを用いて表面積分のパrameter化を行い、γ_p(N_F(δ))をF上の積分として表現すること。
• ガウス密度φ_p(x) = (2π)^{-p/2} e^{-||x||^2/2}を用い、極限lim_{δ↓0} γ_p(N_F(δ))/δ = ∫_F φ_p(x) dσ(x)を導出すること。
• 原点からの距離dist(0,F)と不等式∫_F φ_p(x) dσ(x) ≤ (dist(0,F) + 1) γ_p(N_F)を用いて表面積分を上限で抑え込むこと。

実験結果

リサーチクエスチョン

• RQ1 分散が有界な中心化ガウス型ベクトルについて、確率増分P(Y ≤ y + δ) − P(Y ≤ y)の最もタイトな上界は何か？
• RQ2 多変量ガウス型尾確率の感度は、次元pと摂動サイズδにどのように依存するか？
• RQ3 p個のガウス型線形形式の最大値の累積分布関数の右微分係数は、一様に有界とみなせるか？
• RQ4 原点からの距離がdist(0,F) > √(2 log p)である遠方の面（distant facets）は、総確率増分にどの程度寄与するか？
• RQ5 凸多面体の面に沿った幾何的分解を用いて、高次元ガウス型確率における鋭い上限をどのように導出できるか？

主な発見

• 任意のδ > 0に対して、確率増分P(X ∈ K(δ)\K)はδ(√(2 log p) + 2)で有界であり、ナザロフの不等式が証明される。
• CDF G(t)のt = 0における右微分係数G’_+(0)は、すべての超平面配置に一様に√(2 log p) + 2以下である。
• 原点からの距離がdist(0,F) > √(2 log p)である面は、ガウス密度の指数的減衰のため、総確率増分に1以下しか寄与しない。
• 原点からの距離がdist(0,F) ≤ √(2 log p)である面は、その表面積分が(dists(0,F) + 1)倍のガウス測度の正規錐に比例するため、最大で√(2 log p) + 1の寄与を示す。
• すべての面からの寄与の合計は、(√(2 log p) + 1) + 1 = √(2 log p) + 2で有界であり、証明が完了する。
• √(2 log p)の依存性は、高次元における測度の集中現象から自然に生じるため、この上限は鋭いものである。