[論文レビュー] Spectral norm of products of random and deterministic matrices

Roman Vershynin|arXiv (Cornell University)|Dec 12, 2008

Random Matrices and Applications参考文献 27被引用数 4

ひとこと要約

本稿では、独立で平均が0のエントリをもつ$ N \times n $のランダム行列$ A $と、$ \|B\| \leq 1 $を満たす固定の$ m \times N $行列$ B $の積行列$ W = BA $のスペクトルノルムが、期待値で$ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $で有界であることを確立する。この結果は、最小のモーメント仮定のもとで、このような構造的ランダム行列がi.i.d.ランダム行列と同様にスペクトルノルムの性質を示すことを示しており、ランダム行列の最小特異値に関する先行研究の結果を拡張する。

ABSTRACT

We study the spectral norm of matrices M that can be factored as M=BA, where A is a random matrix with independent mean zero entries, and B is a fixed matrix. Under the (4+epsilon)-th moment assumption on the entries of A, we show that the spectral norm of such an m by n matrix M is bounded by \sqrt{m} + \sqrt{n}, which is sharp. In other words, in regard to the spectral norm, products of random and deterministic matrices behave similarly to random matrices with independent entries. This result along with the previous work of M. Rudelson and the author implies that the smallest singular value of a random m times n matrix with i.i.d. mean zero entries and bounded (4+epsilon)-th moment is bounded below by \sqrt{m} - \sqrt{n-1} with high probability.

研究の動機と目的

• i.i.d.ランダム行列の鋭いスペクトルノルム境界を、ランダム行列と定数行列の積へ拡張すること。
• 独立で平均が0のエントリをもち、$(4+\varepsilon)$-次のモーメントが1で有界な$ A $と固定の$ B $をもつ$ W = BA $のスペクトルノルムを分析すること。
• このような積のスペクトルノルムが$ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $で有界であることを確立すること。これは中間次元$ N $に依存しない。
• RudelsonとVershyninが開始したランダムな長方形行列の最小特異値の分析を完成させること。

提案手法

• 行列$ B $の各列の$ \ell^2 $-ノルムに基づき、大きな列と小さな列に$ B $を分解する。
• 条件付きモーメント法を適用：$ A $の最大エントリが有界であることを条件付け、独立性を保ちつつモーメントを制御する。
• Markovの不等式を用いた切り捨て（truncation）による、行列エントリの尾確率の制御。
• イベント$ \max_{i,j} |a_{ij}| \leq t $の下で、補題4.2（有界エントリを持つ行列のモーメント境界）を条件付きに適用する。
• ネットの議論と対称化を用いて、モーメント仮定のもとでスペクトルノルムを有界化する。
• 三角不等式$ \|BA\| \leq \|B_I A_I\| + \|B_{I^c} A_{I^c}\| $を用いて、大きな列と小さな列の部分行列に対する推定値を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 独立で平均が0のエントリをもち、$ (4+\varepsilon) $-次のモーメントが有界な$ A $と固定の$ B $をもつ$ W = BA $のスペクトルノルムが、$ (4+\varepsilon) $-次のモーメント条件のもとで$ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $で有界であるか。
• RQ2 エントリの依存性が因数分解によって生じるが、このような構造的ランダム行列のスペクトルノルムが、i.i.d.行列と同様に振る舞うか。
• RQ3 境界が中間次元$ N $、すなわちランダム行列$ A $のサイズに依存しないようにできるか。
• RQ4 この結果がランダム行列の最小特異値の分析をどのように拡張するか。

主な発見

• 期待スペクトルノルム$ \mathbb{E}\|W\| $は、$ C(\varepsilon) $が$ \varepsilon $にのみ依存するとして、$ \mathbb{E}\|W\| \leq C(\varepsilon)(\sqrt{m} + \sqrt{n}) $を満たす。
• 境界は鋭く、中間次元$ N $に依存せず、$ N \gg m,n $であっても成立する。
• この結果は、このような境界に必要とされる最小の$ (4+\varepsilon) $-次のモーメント仮定のもとで成立する。
• 証明により、より強い推定値$ \mathbb{E}\|W\| \leq C(\varepsilon)(\|B\|\sqrt{n} + \|B\|_{\rm{HS}}) $が得られ、これは任意の$ B $に対して成り立つ。
• この結果から、i.i.d.エントリをもち、$ (4+\varepsilon) $-次のモーメントが有界な$ m \times n $ランダム行列の最小特異値が、高確率で$ \sqrt{m} - \sqrt{n-1} $以上であることが導かれる。
• この解析は、$ W = BA $を用いて定義される$ \Sigma = \frac{1}{n}WW^* $の標本共分散行列に適用でき、$ \Sigma $の最大固有値が$ C_1(\varepsilon)(1 + m/n) $で有界であることを示す。