[論文レビュー] A small deviation inequality for convex functions

Grigoris Paouris, Petros Valettas|arXiv (Cornell University)|Nov 6, 2016

Point processes and geometric inequalities参考文献 12被引用数 4

ひとこと要約

本稿では、ガウス分布に従うベクトルの凸関数に対して、わずかなずれに関する不等式を確立する。具体的には、$ t > 1 $ に対して、凸関数がその平均値より $ t\sqrt{\text{Var}}f(Z) $ 以上だけ小さくなる確率が $ t^2 $ に比例して指数的に減少することを示している。この結果により、ガウス過程における分散に依存する小さな球確率が得られ、高次元ガウス分布の凸関数的汎関数に対する精密な集中不等式が得られる。

ABSTRACT

Let $Z$ be an $n$-dimensional Gaussian vector and let $f: \mathbb R^n o \mathbb R$ be a convex function. We show that: $$\mathbb P \left( f(Z) \leq \mathbb E f(Z) -t\sqrt{ { m Var} f(Z)} ight) \leq \exp(-ct^2),$$ for all $t>1$, where $c>0$ is an absolute constant. As an application we derive variance-sensitive small ball probabilities for Gaussian processes.

研究の動機と目的

• 高次元ガウス分布に従うベクトルの凸関数に対して、鋭い小さなずれの不等式を導出すること。
• ガウス過程の凸汎関数の平均値以下の裾の挙動を、分散を考慮して定量化すること。
• 関数の分散に明示的な依存関係を持つ集中不等式を確立すること。
• 得られた結果を応用して、ガウス過程における改善された小さな球確率を導出すること。

提案手法

• ガウス分布の集中性と凸性の性質を用いて、$ Z $ を $ n $ 次元ガウス分布に従うベクトルとするとき、$ f(Z) $ の下側尾根を制御する。
• ずれを標準偏差 $ \sqrt{\text{Var}}f(Z) $ でスケーリングする、ずれ不等式の枠組みを適用する。
• すべての $ t > 1 $ に対して、指数的上界 $ \exp(-ct^2) $ を導出する。ここで $ c > 0 $ は絶対定数である。
• 関数 $ f $ の凸性を活用し、対称化および比較技法を用いて下側尾根の挙動を制御する。
• すべての $ t > 1 $ に対して不等式を確立し、中程度のずれ領域における非自明な境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元ガウス分布に従うベクトルの凸関数は、平均値の下側尾根でどのように集中するか？
• RQ2 平均値以下のずれ確率を、関数の分散の観点から上界で抑えられるか？
• RQ3 ガウス分布に従うベクトルの凸汎関数の下側尾根における最適な減衰率は何か？
• RQ4 このような境界は、ガウス過程の小さな球確率を導出するためにどのように利用できるか？

主な発見

• すべての $ t > 1 $ に対して、$ f(Z) $ がその平均値より $ t\sqrt{\text{Var}}f(Z) $ 以上だけ小さくなる確率は、$ c > 0 $ を絶対定数として、$ \exp(-ct^2) $ 以下である。
• この境界は分散に依存しており、$ f(Z) $ の標準偏差でずれを明示的にスケーリングしている。
• この結果は、滑らかさや微分可能性に依存しない、任意の凸関数 $ f: \mathbb{R}^n \to \mathbb{R} $ に対して成り立つ。
• 指数的減衰率 $ \exp(-ct^2) $ は $ t > 1 $ に対して一様に成り立ち、中程度のずれ領域における非自明な尾根制御を提供する。
• この不等式により、小さなフラクチュエーションの確率を定量化することで、ガウス過程における改善された小さな球確率の推定が可能になる。