[論文レビュー] Error Bound for Compound Wishart Matrices

Ilya Soloveychik|arXiv (Cornell University)|Feb 23, 2014

Random Matrices and Applications参考文献 21被引用数 3

ひとこと要約

本稿は、$ X $ が i.i.d. 標準正規分布に従う要素を持つものとして、$ W = \frac{1}{n}XBX^T $ の形をとる複合ウィシャート行列の非漸近的誤差バインディングを確立する。濃縮不等式およびガウス測度技法を用いて、$ \|W - W^0\| $ の期待スペクトルノルムに関するバインディングを導出し、平均行列の正確な推定に必要な標本量が $ \mathcal{O}(\sqrt{p} \ln^2 p) $ のスケーリングを示す。

ABSTRACT

In this paper we consider non-asymptotic behavior of the real compound Wishart matrices that generalize the classical real Wishart distribution. In particular, we consider matrices of the form 1/nXBX', where X consists of real centered Gaussian elements and B is an arbitrary real matrix and sequences of such matrices for varying n. We show how the expectation of deviations from the mean can be bounded for compound Wishart matrices.

研究の動機と目的

• 複合ウィシャート行列 $ W = \frac{1}{n}XBX^T $ の非漸近的挙動を分析すること。ここで $ X $ は i.i.d. 標準正規分布に従い、$ B $ は任意の行列である。
• 期待スペクトルノルム $ \|W - \mathbb{E}[W]\| $ の有限サンプルバインディングを導出し、平均ウィシャート行列の推定精度を扱う。
• 特に $ p $ と $ n $ が同程度のオーダーである場合に、期待する複合ウィシャート行列の期待値を正確に推定するために必要な標本量の複雑さを調査すること。
• トレースが $ \mathrm{Tr}(B_n) = n $ であるようなウィシャート行列の系列 $ W_n = \frac{1}{n}X B_n X^T $ に対して結果を拡張し、スペクトル性質が制御されることを保証すること。

提案手法

• スケール行列 $ \Theta $ を $ B $ の構造から分離するために、$ W = \frac{1}{n} \Theta^{1/2} Y B X^T \Theta^{1/2} $ の表現を用いる。ここで $ Y $ は i.i.d. 標準正規分布に従う。
• スティン法およびライブの定理を用いて、行列値確率変数に対するベルシュタイン型濃縮不等式を適用する。
• スparserベクトルの集合 $ \text{Reg}_p(r) $、つまり $ \pm 1 $ の要素を持つ $ r $-スパースなベクトルの集合に対して、和集合を用いて最大の二次形式 $ (W'x, y) $ を制御する。
• スパースなサポート上での二次形式の乖離をガウス尾部推定で制御することで、スペクトルノルム $ \|W'\| $ の尾部バインディングを導出する。
• $ \mathbb{E}[\|W - W^0\|] \leq \frac{C \lceil \ln(2p) \rceil^2 \sqrt{p}}{n} $ であるという事実を用い、ここで $ C $ は $ \|B\|_{\text{Frob}} $ および $ \|B\| $ に依存する。この関係から最終的なバインディングを導出する。
• 尾部バインディングの積分を用いて、尾部確率不等式をスペクトルノルムの期待値バインディングに変換する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルノルムの観点から、複合ウィシャート行列がその平均からどれほど離れているか、非漸近的乖離はいかほどか？
• RQ2 高い確率で期待される複合ウィシャート行列 $ W^0 $ を、制御された誤差で推定するために必要なサンプル数 $ n $ はどの程度か？
• RQ3 トレースが $ \mathrm{Tr}(B_n) = n $ であるような系列 $ W_n = \frac{1}{n}X B_n X^T $ の平均を推定するための標本量の複雑さは何か？
• RQ4 次元 $ p $ に対して誤差バインディングはどのようにスケーリングされるか。特に $ n \approx p $ の場合に注目する。
• RQ5 一般の $ B $、非対称または構造的でない行列を含む場合に、濃縮測度技法が $ W - W^0 $ のスペクトルノルムに対してタイトなバインディングをもたらすか？

主な発見

• 期待スペクトルノルムの乖離 $ \|W - W^0\| $ は、$ \mathbb{E}[\|W - W^0\|] \leq \frac{24 \lceil \ln(2p) \rceil^2 \sqrt{p} (4\sigma + \kappa \sqrt{\pi})}{n} $ でバインドされる。ここで $ \sigma $ および $ \kappa $ はそれぞれ $ \|B\|_{\text{Frob}} $ および $ \|B\| $ に依存する。
• トレースが $ \mathrm{Tr}(B_n) = n $ である行列の系列 $ \{B_n\} $ に対して、$ \sigma_n \leq \sigma $、$ \kappa_n \leq \kappa $ であるため、バインディングは $ n $ にわたって一様に成り立ち、安定性が保証される。
• 高い確率で $ W^0 $ を推定するために必要な標本量の複雑さは $ \mathcal{O}(\sqrt{p} \ln^2 p) $ であり、これは $ p $ に対して準二次的であり、高次元設定に適している。
• バインディングは $ \text{Reg}_p(r) \times \text{Reg}_p(s) $（$ r,s \leq p $ のスパースベクトル）に対する和集合とガウス尾部推定に基づいて導出されている。
• $ B $ が対称でない場合でも成立し、表現論的設定で現れる歪対称行列 $ B $ のような場合にも適用可能である。
• Frobeniusノルムおよびスペクトルノルムが制御されていれば、$ B $ の選択にかかわらずバインディングは頑健であり、固定された $ p $ および $ p(n) $ が増加する場合にも適用可能である。