[論文レビュー] Marchenko-Pastur law with relaxed independence conditions

Jennifer S. Bryson, Roman Vershynin+1 more|arXiv (Cornell University)|Dec 29, 2019

Random Matrices and Applications参考文献 43被引用数 7

ひとこと要約

本稿は、独立性の仮定を緩めた条件下で、標本共分散行列に対するMarchenko-Pastur法則を確立し、2つのモデルにおける古典的極限スペクトル分布への収束を証明している：ブロック独立モデル（ブロック内では従属だがブロック間は独立）とランダムテンソルモデル（データが独立変数の同次的積から構成される）。主な結果は、ブロックモデルでは最大ブロックサイズが $ o(p) $ である限り、テンソルモデルでは $ d = o(n^{1/3}) $ である限り、法則が成り立つことである。これは、古典的なi.i.d.設定を構造的従属パターンへと拡張するものである。

ABSTRACT

We prove the Marchenko-Pastur law for the eigenvalues of $p imes p$ sample covariance matrices in two new situations where the data does not have independent coordinates. In the first scenario - the block-independent model - the $p$ coordinates of the data are partitioned into blocks in such a way that the entries in different blocks are independent, but the entries from the same block may be dependent. In the second scenario - the random tensor model - the data is the homogeneous random tensor of order $d$, i.e. the coordinates of the data are all $\binom{n}{d}$ different products of $d$ variables chosen from a set of $n$ independent random variables. We show that Marchenko-Pastur law holds for the block-independent model as long as the size of the largest block is $o(p)$ and for the random tensor model as long as $d = o(n^{1/3})$. Our main technical tools are new concentration inequalities for quadratic forms in random variables with block-independent coordinates, and for random tensors.

研究の動機と目的

• 高次元のランダム行列における構造的従属を許容する設定へ、古典的なMarchenko-Pastur法則をi.i.d.要素を超えて拡張すること。
• 座標内に従属がある場合でも、標本共分散行列の経験的スペクトル分布が依然としてMarchenko-Pastur法則に収束する条件を確立すること。
• ブロック独立モデルを分析すること。このモデルでは、座標がブロックに分割され、ブロック内では従属があるがブロック間は独立である。
• ランダムテンソルモデルを調査すること。このモデルでは、データの各エントリが $ n $ 個の変数からなる $ d $ 階の同次的積から成る。
• 主な収束結果を支えるために、ブロック従属およびテンソル構造を持つ確率変数の下で二次形式の新しい集中不等式を導出すること。

提案手法

• ブロック独立モデルを導入する。$ p $ 次元のベクトルがサイズ $ d_k $ のブロックに分割され、ブロック間では独立だが、ブロック内では従属が許容される。
• スペクトルノルムや固有値分布を制御するために不可欠な、ブロック従属確率変数における二次形式の新しい集中不等式を構築する。
• ランダムテンソルモデルを分析する。このモデルでは、データ行列の各列が $ n $ 個のi.i.d.変数からなる $ d $ 階のテンソルである。
• $ d = o(n^{1/3}) $ のとき、Marchenko-Pastur法則が成り立つことを確立する。これにより、$ n $ に対して十分に速く増加する異なる積の数が保証される。
• 依存性を扱えるように適合されたモーメント法およびStieltjes変換技術を用いて、経験的スペクトル分布の弱収束を証明する。
• 交換可能性および等方性の仮定を活用して依存構造を簡素化し、対称化およびデカップリング技術を用いて集中限界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標本共分散行列の要素がi.i.d.ではなく、ブロック独立である場合、Marchenko-Pastur法則が成り立つ条件は何か？
• RQ2 $ d $ 階の同次的ランダムテンソルからなるランダム行列に対し、Marchenko-Pastur法則を拡張できるか。また、$ d $ と $ n $ に必要な制約は何か？
• RQ3 収束速度は、特に基礎となる確率変数の四乗モーメントに応じて、依存構造にどのように依存するか？
• RQ4 ブロック従属またはテンソル構造を持つデータの下で、スペクトルノルムや固有値分布を制御するために必要な・十分な集中不等式は何か？
• RQ5 ランダム行列理論における古典的なi.i.d.仮定は、極限スペクトル分布を保つ限り、どの程度緩められるか？

主な発見

• ブロック独立モデルでは、最大ブロックサイズが $ o(p) $ である限り、Marchenko-Pastur法則が成り立つ。これにより、ブロック内での強い従属も許容される。
• ランダムテンソルモデルでは、$ d = o(n^{1/3}) $ のとき法則が成り立つ。これにより、テンソル積の多様性が十分に保証され、漸近的独立性が維持される。
• ブロック独立およびランダムテンソル行列からの経験的スペクトル密度は、$ p = 4000 $、$ n = 2000 $ のような中程度の行列サイズに対しても、Marchenko-Pastur密度と非常によく一致する。
• 収束速度は基礎となる確率変数の四乗モーメントに依存する：例えばベルヌーイ分布（四乗モーメントが小さい）ではガウス分布（四乗モーメントが大きい）よりも収束が速い。
• 実験により、$ n o igtriangledown $ のとき、経験的スペクトル分布がMarchenko-Pastur法則に収束することが確認された。$ n o 10 $ であっても、$ d $ が大きい場合にはブロック数が少ない場合でも、その収束性は保たれる。
• 理論的結果は、ブロック従属およびテンソル構造を持つ確率変数の下で二次形式の新しい集中不等式によって裏付けられており、これらは証明フレームワークの中心的役割を果たす。