[論文レビュー] An error bound in the Sudakov-Fernique inequality

Sourav Chatterjee|ArXiv.org|Oct 20, 2005

Probability and Risk Models参考文献 11被引用数 45

ひとこと要約

この論文は、有限次元ガウス過程におけるスダコフ＝フェルヌークの不等式について、漸近的に鋭い誤差境界を確立し、中心化されていない場合への拡張を実現している。滑らかな最大関数の近似と確率的補間論法を用いて、期待値の最大値の差が $\sqrt{\gamma \log n}$ で有界であることを証明している。ここで $\gamma$ は、平均が等しい2つのガウスベクトル間の対ごとの分散の最大差を測る。

ABSTRACT

We obtain an asymptotically sharp error bound in the classical Sudakov-Fernique comparison inequality for finite collections of gaussian random variables. Our proof is short and self-contained, and gives an easy alternative argument for the classical inequality, extended to the case of non-centered processes.

研究の動機と目的

• 有限次元ガウス過程における古典的スダコフ＝フェルヌークの不等式に対して、タイトで漸近的に鋭い誤差境界を提供すること。
• ゼロ平均の仮定を緩和することで、非中心化ガウス過程への不等式の拡張を実現すること。
• ガウス過程の期待最大値がその共分散構造の摂動に対してどのように感度を示すかを定量化すること。
• 変数の数の対数と分散差に依存する一般の境界を確立すること。

提案手法

• 最大関数の滑らかな近似 $F_\beta(\mathbf{x}) = \beta^{-1} \log(\sum_{i=1}^n e^{\beta x_i})$ を導入し、$\beta \to \infty$ のとき $\max_i x_i$ に収束する。
• 平均が等しい2つのガウスベクトルの間で、$\mathbf{Z}_t = \sqrt{1-t}\tilde{\mathbf{X}} + \sqrt{t}\tilde{\mathbf{Y}} + \boldsymbol{\mu}$ で定義される確率的補間路を構築する。
• 期待値 $\varphi(t) = \mathbb{E}[F_\beta(\mathbf{Z}_t)]$ を微分し、部分積分を適用して $\varphi'(t)$ を $F_\beta$ の2階微分と共分散差の形に表現する。
• $F_\beta$ のヘッセ行列の明示的表現を用いて、$\varphi'(t)$ を対応する分散差 $\gamma^{Y}_{ij} - \gamma^{X}_{ij}$ に関連付ける。
• $\gamma = \max_{i,j} |\gamma^{Y}_{ij} - \gamma^{X}_{ij}|$ を用いて、$[0,1]$ 上での $\varphi(t)$ の全 variation をバウンドする。
• $\beta$ を最適化することで、近似誤差と補間境界の誤差の合計を最小化し、最終的な結果を得る。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程の共分散構造に小さな摂動が加わったとき、その期待最大値はどのように変化するか？
• RQ2 非中心化過程を含む有限次元設定において、スダコフ＝フェルヌークの不等式に鋭い誤差境界を導出できるか？
• RQ3 誤差境界が変数の数 $n$ と分散差 $\gamma$ にどのように依存するかが最適であるか？
• RQ4 期待最大値の差に対して、$\sqrt{\gamma \log n}$ の境界が漸近的に鋭いかどうか？
• RQ5 古典的スダコフ＝フェルヌークの不等式を、定量的な誤差項を伴って非中心化過程へ拡張できるか？

主な発見

• 平均が等しい2つの $n$ 次元ガウスベクトルについて、$|\mathbb{E}(\max_i X_i) - \mathbb{E}(\max_i Y_i)| \leq \sqrt{\gamma \log n}$ の境界を確立した。
• 誤差境界は、$X_i$ が独立した標準正規分布に従い、$Y_i \equiv 0$ である場合に漸近的に鋭いことが示された。
• 非中心化過程への拡張が可能である：すべての $i$ について $\mathbb{E}(X_i) = \mathbb{E}(Y_i)$ かつ $\gamma^{X}_{ij} \leq \gamma^{Y}_{ij}$ を満たすとき、比較が成立する。
• 証明手法により、古典的スダコフ＝フェルヌークの不等式（非中心化過程への拡張を含む）の自己完備的な導出が可能である。
• 境界は、最大関数の滑らかな近似と2つの過程間の連続的補間によって導出された。
• 近似誤差と分散摂動の誤差の合計を最小化する最適なスムージングパrameter は $\beta = 2\sqrt{\log n / \gamma}$ である。