[論文レビュー] A tail inequality for quadratic forms of subgaussian random vectors

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Oct 13, 2011

Approximation Theory and Sequence Spaces参考文献 3被引用数 7

ひとこと要約

本稿は、サブガウスィアン確率的ベクトルの二次形式に関して鋭い尾確率不等式を確立し、$\rVert Ax\rVert^2$ の期待値からの逸脱が、ガウス型の場合と類似したサブガウスィアン尾確率バウンドに従うことを証明する。主な結果として、ガウス型の場合と一致する明示的かつ最適な定数を有する尾確率バウンドが得られ、サブガウスィアンモーメント条件の下で一般の半正定値二次形式に適用可能である。

ABSTRACT

We prove an exponential probability tail inequality for positive semidefinite quadratic forms in a subgaussian random vector. The bound is analogous to one that holds when the vector has independent Gaussian entries.

研究の動機と目的

• $x$ がサブガウスィアン確率的ベクトルであるとき、二次形式 $\rVert Ax\rVert^2$ に対するサブガウスィアン尾確率バウンドを導出すること。
• i.i.d. ガウス型ベクトルに既知の尾確率不等式を、明示的かつ最適な定数を伴うサブガウスィアン設定に一般化すること。
• ガウス型尾確率バウンドの形ときついバウンドを再現する、洗練され、自己完結的な証明を提供すること。
• サブガウスィアン仮定の下で $\rVert Ax\rVert^2$ のモーメント生成関数バウンドを確立し、濃度不等式の導出を可能にすること。

提案手法

• 独立した標準ガウス型ベクトル $z$ を導入することで、$\rVert Ax\rVert^2$ のモーメント生成関数をバウンドするガウス型比較技術を用いる。
• 変化測度と、$x$ のサブガウスィアン性に基づくモーメント生成関数バウンドを適用する。
• ラウレンとマッサール（2000年）が導出したガウス型ベクトルにおける二次形式のモーメント生成関数バウンドを活用する。
• 重み付きカイ二乗分布およびガウス型変数の対数モーメント生成関数の推定値を用いる。
• $\varSigma = A^T A$ に依存する、$\sigma^2$、$\operatorname{tr}(\varSigma)$、$\operatorname{tr}(\varSigma^2)$、および $\|\varSigma\|$ に依存する $\mathbb{E}[\exp(\eta \rVert Ax\rVert^2)]$ の上界を導出する。
• チェルノフ型のアプローチを用いて、モーメント生成関数バウンドを $e^{-t}$ の指数を持つ尾確率不等式に変換する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型の場合と同一の形と定数を有する、サブガウスィアンベクトルにおける二次形式の尾確率不等式を導出可能か？
• RQ2 サブガウスィアン $x$ に対して、尾確率バウンドが $\varSigma = A^T A$ のトレースおよびスペクトルノルムに最適に依存する関係は何か？
• RQ3 $x$ に非ゼロ平均 $\mu$ が存在する場合、$\rVert Ax\rVert^2$ の濃度にどのような影響を与えるか？
• RQ4 ラマーチャー変数のような重い尾または有界サブガウスィアン分布に対しても、バウンドをきつくできるか？
• RQ5 $x$ がガウス型でないがサブガウスィアンモーメント条件を満たす場合、導出された不等式は鋭いまま保たれるか？

主な発見

• 本稿は、$\sigma = 1$ かつ $\mu = 0$ のときガウス型の場合と同一の形を有する $\rVert Ax\rVert^2$ の尾確率不等式を確立する。具体的には、$\Pr[\rVert Ax\rVert^2 > \operatorname{tr}(\varSigma) + 2\sqrt{\operatorname{tr}(\varSigma^2)t} + 2\|\varSigma\|t] \leq e^{-t}$ が成り立つ。
• 一般のサブガウスィアン $x$（平均 $\mu$、パラメータ $\sigma$）に対して、尾確率バウンドには $\|A\mu\|^2$ を $\|\varSigma\|^2 / \operatorname{tr}(\varSigma^2)$ に比例する係数でスケーリングした追加項が含まれ、平均シフトを反映している。
• バウンドは、ラマーチャーおよび有界サブガウスィアン成分における既知のサブガウスィアン尾確率行動と一致するため、鋭いとされる。これは、マーリングル法による以前のバウンドを改善する。
• $\rVert Ax\rVert^2$ のモーメント生成関数は、$\eta < 1/(2\sigma^2\|\varSigma\|)$ の範囲で、$\exp\left(\sigma^2 \operatorname{tr}(\varSigma)\eta + \frac{\sigma^4 \operatorname{tr}(\varSigma^2)\eta^2 + \|A\mu\|^2 \eta}{1 - 2\sigma^2 \|\varSigma\| \eta}\right)$ でバウンドされ、これが尾確率バウンドの導出を可能にする。
• サブガウスィアンノイズを伴う固定設計線形回帰において、過剰リスク $R(\hat{\beta})$ は $\Pr[R(\hat{\beta}) > \sigma^2(d + 2\sqrt{dt} + 2t)/n] \leq e^{-t}$ を満たし、ガウス型の場合と一致する。
• 導出されたバウンドは期待値においてきつく、サブガウスィアン二次形式で観察される既知の $O(\sqrt{t})$ および $O(t)$ の逸脱項と一致する。