[論文レビュー] The least singular value of a random square matrix is O(n^{-1/2})

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|May 22, 2008

Random Matrices and Applications参考文献 3被引用数 4

ひとこと要約

本稿は、i.i.d. のサブガウスィアンな要素を持つ n×n ランダム行列の最小特異値の上尾確率を確立し、$ s_n(A) = O(n^{-1/2}) $ が高確率で成り立つことを証明する。小さな確率の確率評価と最小公倍分母（LCD）フレームワークを用いて、最小特異値が $ \Theta(n^{-1/2}) $ として完全に特徴付けられ、一般のサブガウスィアン集合に対するランダム行列理論における長年の予想が裏付けられる。

ABSTRACT

Let A be a matrix whose entries are real i.i.d. centered random variables with unit variance and suitable moment assumptions. Then the smallest singular value of A is of order n^{-1/2} with high probability. The lower estimate of this type was proved recently by the authors; in this note we establish the matching upper estimate.

研究の動機と目的

• i.i.d. のサブガウスィアンな要素を持つランダム正方行列の最小特異値の上尾確率を確立すること。
• 最小特異値が $ \Theta(n^{-1/2}) $ として完全に特徴付けられることを確認し、以前に示された下界と一致させること。
• フォン・ノイマンとスメールが提起した、ランダム行列の最小特異値の典型的なオーダーの大きさに関する予想を解消すること。
• 小さな確率の確率評価フレームワークを、ランダム行列の逆行列およびその特異値を扱うために拡張すること。

提案手法

• 最小特異値と逆行列の作用素ノルムの双対性を用いる：$ s_n(A) = \inf_{\|x\|_2=1} \|Ax\|_2 = 1/\|A^{-1}\| $。
• 双直交基底と直交射影を用いて、$ \|A^{-1}x\|_2 $ をランダムベクトルとランダム部分空間との距離に関連付ける。
• 最小公倍分母（LCD）を用いて、ランダムベクトルおよび部分空間の算術的構造を定量化し、小さな確率の確率評価を可能にする。
• 濃縮不等式と条件付き確率を用いて、$ x $ が他の列の張る空間に直交する成分であるときの $ A^{-1}x $ のノルムを制御する。
• 文献[3]の小さな確率の定理を適用し、i.i.d. のサブガウスィアン変数の線形結合が小さい確率を抑える。
• 残差ベクトルのノルムと逆像ノルムの尾確率を、マーカフの不等式と行列のインデックスにおける和集合の不等式を用いて組み合わせて制御する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. のサブガウスィアンな要素を持つ $ n \times n $ ランダム行列の最小特異値 $ s_n(A) $ の鋭いオーダーは何か？
• RQ2 以前に示された下界 $ s_n(A) = \Omega(n^{-1/2}) $ に、それに一致する上界を付与することで、$ \Theta(n^{-1/2}) $ のスケーリングが確認できるか？
• RQ3 最小公倍分母で測定されるランダム部分空間の算術的構造は、i.i.d. の確率変数の線形形式の小さな確率の確率にどのように影響するか？
• RQ4 小さな確率の方法は、ランダム行列の逆行列のノルムを制御するためにどの程度拡張可能か？
• RQ5 大きな $ K $ に対して、尾確率 $ \mathbb{P}(s_n(A) > K n^{-1/2}) $ の高確率での衰減率はどの程度か？

主な発見

• すべての $ K \geq 2 $ に対して、定数がサブガウスィアンモーメント $ B $ に多項式的に依存するとして、$ \mathbb{P}(s_n(A) > K n^{-1/2}) \leq (C/K)\log K + c^n $ が成り立つ。
• 上界は以前に示された下界 $ s_n(A) = \Omega(n^{-1/2}) $ と一致し、$ s_n(A) = \Theta(n^{-1/2}) $ が高確率で成り立つことが確認される。
• 結果は、有界、対称 $ \pm 1 $、ガウス分布の要素を含むサブガウスィアンモーメントの仮定のもとで成り立つ。
• 証明は、特定の残差ベクトル $ x $ に対して $ A^{-1}x $ のノルムを制御することに依存し、最小公倍分母を用いて算術的集中を防ぐ。
• 尾確率は $ K $ に対して多項式的、$ n $ に対して指数的に衰えるため、$ s_n(A) $ が $ n^{-1/2} $ のまわりに強く集中していることが示される。
• 近似を用いることで四次モーメントの仮定へ拡張可能であり、$ \delta $ と $ B $ に多項式的依存性を示す類似の $ O(n^{-1/2}) $ 界が得られる。