[論文レビュー] Concentration of Measure and Large Random Matrices with an application to Sample Covariance Matrices

Cosme Louart, Romain Couillet|arXiv (Cornell University)|May 21, 2018

Random Matrices and Applications参考文献 17被引用数 20

ひとこと要約

本稿では、濃縮測度理論を活用して、従来のi.i.d.要素の仮定に代わる、ランダム行列解析の新しいフレームワークを提案する。特に、q-指数的、リプシッツ的、凸的濃縮の概念を拡張し、それらを用いて、濃縮されたランダムベクトルを用いた標本共分散行列のスペクトル収束が広範な条件下で成立することを確立する。これにより、高次元統計および機械学習分野における堅牢な解析が可能となる。

ABSTRACT

The present work provides an original framework for random matrix analysis based on revisiting the concentration of measure theory from a probabilistic point of view. By providing various notions of vector concentration ($q$-exponential, linear, Lipschitz, convex), a set of elementary tools is laid out that allows for the immediate extension of classical results from random matrix theory involving random concentrated vectors in place of vectors with independent entries. These findings are exemplified here in the context of sample covariance matrices but find a large range of applications in statistical learning and beyond, thanks to the broad adaptability of our hypotheses.

研究の動機と目的

• i.i.d.要素の仮定を超えて古典的ランダム行列理論を拡張するため、ランダムベクトルの濃縮測度に基づくフレームワークを導入すること。
• ベクトルがi.i.d.でないが、一般化された濃縮性質を満たす場合の標本共分散行列のスペクトル分布を分析すること。
• 弱い依存性および濃縮仮定の下で、標本共分散行列のスペクトル分布に対する決定的同等物を提供すること。
• ハズン＝ワリートおよびデイビスの定理を、ベクトル濃縮を用いて非i.i.d.設定に一般化すること。
• 非線形的または弱い依存構造を示すデータを扱う高次元統計、機械学習、信号処理の応用を支援すること。

提案手法

• q-指数的、線形的、凸的濃縮の3種類のベクトル濃縮を導入し、サブガウス型仮定を超えた尾部挙動を一般化する。
• ランダムベクトルのリプシッツ的および凸的関数に対する測度バウンドを用いて濃縮を定義し、スペクトルノルムおよび固有値分布の制御を可能にする。
• 特異値分解（SVD）と、空間 $\mathcal{D}_{p,n}^+$ を $\mathbb{R}^d$ に同定することにより、行列関数をスカラー関数に還元する。
• タラグランドの不等式およびデイビスの定理を適用し、対称性および不変性仮定の下でスペクトル関数の濃縮バウンドを導出する。
• ${\sigma}(X) \propto_{\mathfrak{S}_d}^T \alpha$ が成り立つならば、1-リプシッツ的、凸的、かつ対称的関数 $f$ に対して $F(X) = f({\sigma}(X))$ が濃縮することを確立する。
• X の濃縮性とそれに伴う固有値の安定性を分析することで、$S = \frac{1}{n}XX^T$ の経験的スペクトル分布に対する決定的同等物を導出する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.でない要素を持つランダム行列に対して、古典的ランダム行列理論の結果をどのように拡張できるか？
• RQ2 どのような濃縮仮定が、標本共分散行列の決定的同等物の導出を可能にするか？
• RQ3 ベクトル濃縮理論を用いて、ハズン＝ワリートおよびデイビスの定理を非i.i.i.d.設定に一般化できるか？
• RQ4 対称性および不変性（例：$\mathcal{O}_{p,n}$-不変性）が、スペクトル関数の濃縮を保証する役割を果たすか？
• RQ5 非線形変換（例：ランダム特徴マップ）が、高次元における標本共分散行列のスペクトル挙動にどのように影響を与えるか？

主な発見

• q-指数的または凸的濃縮を満たすベクトルから構成された標本共分散行列は、i.i.d.要素がなくても、決定的同等物にスペクトル収束する。
• X が $p,n \to \infty$ かつ $p/n \to c \in (0,\infty)$ の下で濃縮されたランダム行列であれば、$S = \frac{1}{n}XX^T$ の経験的スペクトル分布はほとんど確実に決定的極限に収束する。
• 特異値の濃縮バウンドを用いて、非i.i.i.d.設定へのマルチェンコ＝パストル法の一般化された新しい決定的同等物が導出される。
• X が $\alpha$-濃縮であり、$F(X) = f({\sigma}(X))$ が1-リプシッツ的かつ $\mathcal{O}_{p,n}$-不変であれば、$F(X)$ が $\alpha$-濃縮であることが証明され、スペクトル安定性解析が可能になる。
• ハズン＝ワリート型不等式が凸的濃縮されたベクトルに拡張され、二次形式が平均の周りにサブガウス的尾部で濃縮することを示している。
• 非線形的依存性が一般的なランダム特徴マップおよびニューラルネットワークへの応用を通じて、結果の妥当性が検証された。ここで、古典的i.i.i.d.仮定は成立しない。