[論文レビュー] Learning Trigonometric Polynomials from Random Samples and Exponential Inequalities for Eigenvalues of Random Matrices

Karlheinz Gröchenig, Benedikt M. Pötscher+1 more|arXiv (Cornell University)|Jan 26, 2007

Sparse and Compressive Sensing Techniques参考文献 20被引用数 23

ひとこと要約

本稿は、独立な行をもつ複素確率的行列の標本2次モーメント行列とその期待値との差の作用素ノルムに関する指数的不等式を確立し、ランダム行列の最大固有値および最小固有値、および条件数の偏差バウンドを可能にする。さらに、これらの行列濃縮結果を用いて、多変量三角多項式が O(D log D) 個のランダムサンプルから正確に再構成可能であることを示している。

ABSTRACT

Motivated by problems arising in random sampling of trigonometric polynomials, we derive exponential inequalities for the operator norm of the difference between the sample second moment matrix n 1U U and its expectation where U is a complex random n D matrix with independent rows. These results immediately imply deviation inequalities for the largest (smallest) eigenvalues of the sample second moment matrix, which in turn lead to results on the condition number of the sample second moment matrix. We also show that trigonometric polynomials in several variables can be learned from const D ln D random samples.

研究の動機と目的

• 独立な行をもつ複素確率的行列の標本2次モーメント行列の作用素ノルムに関する指数的尾部バウンドを導出すること。
• このような標本行列の最大固有値および最小固有値の偏差挙動を分析すること。
• これらの固有値濃縮結果を用いて、標本2次モーメント行列の条件数をバウンドすること。
• ランダムサンプルからの多変数三角多項式の学習のためのサンプリング複雑度結果を確立すること。

提案手法

• ランダム行列理論の道具を用いて、n⁻¹U*U − E[n⁻¹U*U] の作用素ノルムに関する指数的不等式を導出する。
• これらのバウンドを用いて、標本2次モーメント行列の最大固有値および最小固有値がその期待値からどれほど逸脱するかを制御する。
• 固有値濃縮を用いて、標本2次モーメント行列の条件数のバウンドを導出する。
• 行列濃縮結果を応用して、D 変数の三角多項式が O(D log D) 個のランダムサンプルから学習可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 独立な行をもつ複素確率的行列の標本2次モーメント行列の作用素ノルムの尾部挙動は何か？
• RQ2 標本2次モーメント行列の最大固有値および最小固有値は、それぞれの期待値からどれほど逸脱するか？
• RQ3 標本2次モーメント行列の条件数の濃縮挙動は何か？
• RQ4 D 変数の三角多項式を高い確率で学習するために必要な最小のランダムサンプル数は何か？

主な発見

• 標本2次モーメント行列とその期待値との差の作用素ノルムに関する指数的不等式が確立された。
• 標本2次モーメント行列の最大固有値および最小固有値は、期待値のまわりにきわめて鋭く濃縮され、指数的に減少する尾部バウンドを持つ。
• 標本2次モーメント行列の条件数は、高い確率で期待条件数の定数倍に抑えられる。
• D 変数の三角多項式は、導出された行列濃縮結果を用いて、高い確率で O(D log D) 個のランダムサンプルから学習可能である。