[論文レビュー] A short note on the tail bound of Wishart distribution

Shenghuo Zhu|arXiv (Cornell University)|Dec 24, 2012

Probability and Risk Models参考文献 5被引用数 13

ひとこと要約

本稿は、独立同一分布の多変量正規分布ベクトルの標本共分散行列に関する既存の集中不等式における定数を精緻化することで、Wishart分布のより鋭い尾部バウンドを提供する。行列 Bernstein 不等式とモーメント母関数解析を用いて、真の共分散行列の条件数およびトレース対スペクトルノルム比に明示的な依存関係を示す、固有値およびスペクトルノルムの偏差に関する改善された高確率的バウンドを導出する。

ABSTRACT

We study the tail bound of the emperical covariance of multivariate normal distribution. Following the work of (Gittens & Tropp, 2011), we provide a tail bound with a small constant.

研究の動機と目的

• Wishart分布の既存の尾部バウンドにおける定数を改善し、特に多変量正規分布データの標本共分散行列に対して実用的な鋭さを向上させること。
• 標本共分散行列の固有値およびスペクトルノルムの高確率的集中不等式をより鋭く提供すること。
• 真の共分散行列の条件数やトレース対スペクトルノルム比といった構造的パラメータへの依存関係を精緻化すること。
• Gittens (2011) の先行結果を拡張・改善し、偏差バウンドの定数を低減しながらも鋭さを維持すること。

提案手法

• 独立で平均がゼロのランダム行列に対して、精緻化されたモーメント母関数条件を備えた行列 Bernstein 不等式を用いて尾部バウンドを導出する。
• Birgé (1998) の補題2を適用し、モーメント母関数バウンドを明示的な定数を伴う尾確率バウンドに変換する。
• イッセリスの定理を用いてガウス分布における二次形式の高次モーメントを計算し、トレースおよびスペクトルノルムの項を用いてそれらをバウンドする。
• 中心化されたWishart成分のp次のモーメントが、$ \frac{p!}{2} B^{p-2} \Sigma_2 $ でバウンドされることを確立し、ここで $ B $ および $ \Sigma_2 $ は真の共分散行列のトレースおよびスペクトルノルムに依存する。
• Weylの定理を用いて、標本共分散行列の固有値の偏差を偏差行列のスペクトルノルムに関連付ける。
• 行列集中と固有値の入れ子性および条件数スケーリングを組み合わせることで、集合的および個々の固有値の集中バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 Wishart分布の尾部バウンドにおける定数を低減することで、高次元共分散推定における実用的鋭さを向上させることは可能か？
• RQ2 条件数 $ \kappa_\ell $ およびトレース対スペクトルノルム比 $ r $ は、標本共分散行列の個々の固有値の集中にどのように影響するか？
• RQ3 Wishart分布行列の行列集中において、偏差スケールと尾確率の最適なトレードオフは何か？
• RQ4 モーメント母関数解析を精緻化することで、最大固有値およびスペクトルノルムのより鋭いバウンドを導出可能か？
• RQ5 特にスカラーの場合（$ d=1 $）や既存の文献との比較において、新しいバウンドはどのように評価されるか？

主な発見

• 本稿は集合的固有値バウンドを確立する：$ \Pr\left\{ \left| \lambda_\ell(\frac{1}{n}S) - \lambda_\ell(C) \right| \geq \left( \sqrt{\frac{2\theta \kappa_\ell^2 (r+1)}{n}} + \frac{2\theta \kappa_\ell r}{n} \right) \lambda_\ell(C) \right\} \leq 2d \exp(-\theta) $、ここで $ r = \mathrm{tr}(C)/\|C\| $ および $ \kappa_\ell = \lambda_1(C)/\lambda_\ell(C) $。
• スペクトルノルムに関しては、$ \Pr\left\{ \left\| \frac{1}{n}S - C \right\| \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \|C\| \right\} \leq 2d \exp(-\theta) $ を証明し、既存の定数を改善している。
• 最大固有値の偏差に対するバウンドは、$ \Pr\left\{ \lambda_1(\frac{1}{n}S - C) \geq \left( \sqrt{\frac{2\theta(r+1)}{n}} + \frac{2\theta r}{n} \right) \lambda_1(C) \right\} \leq d \exp(-\theta) $ であり、同じ定数の改善がなされている。
• 個々の固有値に関しては、$ \Pr\left\{ \lambda_\ell(\frac{1}{n}S) \geq \left(1 + \sqrt{\frac{2\theta(\kappa_\ell r_\ell + 2)}{n}} + \frac{2\theta \kappa_\ell r_\ell}{n} \right) \lambda_\ell(C) \right\} \leq (d - \ell + 1) \exp(-\theta) $ を導出し、ここで $ r_\ell = \sum_{i=\ell}^d \lambda_i(C)/\lambda_1(C) $ である。この結果は、個々の固有値に対するより鋭い制御を示している。
• バウンドがスカラーの場合（$ d=1, C=1 $）でタイトであることが示され、Laurent (2000) が得た既知のカイ二乗分布の尾部バウンドが回復される。
• 解析により、$ p \geq 2 $ の場合、モーメント展開におけるシングルトンチェーン項の数は全項数の3分の1未満であることが確認され、モーメント推定におけるトレースに基づくバウンドの優位性が裏付けられる。