[论文解读] Learning Trigonometric Polynomials from Random Samples and Exponential Inequalities for Eigenvalues of Random Matrices

Karlheinz Gröchenig, Benedikt M. Pötscher+1 more|arXiv (Cornell University)|Jan 26, 2007

Sparse and Compressive Sensing Techniques参考文献 20被引用 23

一句话总结

本文建立了复随机矩阵（其行相互独立）的样本二阶矩矩阵与其期望之间差值的算子范数的指数不等式，从而实现了对随机矩阵最大与最小特征值及条件数的偏差界。此外，本文进一步表明，利用这些矩阵集中结果，可通过 O(D log D) 个随机采样点准确重构多元三角多项式。

ABSTRACT

Motivated by problems arising in random sampling of trigonometric polynomials, we derive exponential inequalities for the operator norm of the difference between the sample second moment matrix n 1U U and its expectation where U is a complex random n D matrix with independent rows. These results immediately imply deviation inequalities for the largest (smallest) eigenvalues of the sample second moment matrix, which in turn lead to results on the condition number of the sample second moment matrix. We also show that trigonometric polynomials in several variables can be learned from const D ln D random samples.

研究动机与目标

• 推导复随机矩阵（其行相互独立）的样本二阶矩矩阵算子范数的指数尾部界。
• 分析此类样本矩阵的最大与最小特征值的偏离行为。
• 利用这些特征值集中结果，对样本二阶矩矩阵的条件数进行上界估计。
• 建立从随机采样中学习多元三角多项式的采样复杂度结果。

提出的方法

• 利用随机矩阵理论工具，推导样本二阶矩矩阵 n⁻¹U*U 与 E[n⁻¹U*U] 之间差值的算子范数的指数不等式。
• 将这些界应用于控制样本二阶矩矩阵的最大与最小特征值与其期望值之间的偏离。
• 利用特征值集中性推导样本二阶矩矩阵条件数的上界。
• 将矩阵集中结果应用于证明：D 个变量的三角多项式可从 O(D log D) 个随机采样点中学习。

实验结果

研究问题

• RQ1 对于具有独立行的复随机矩阵，其样本二阶矩矩阵算子范数的尾部行为如何？
• RQ2 样本二阶矩矩阵的最大与最小特征值与其期望值的偏离程度如何？
• RQ3 样本二阶矩矩阵的条件数的集中行为如何？
• RQ4 以高概率学习一个 D 个变量的三角多项式，所需的最少随机采样点数是多少？

主要发现

• 建立了样本二阶矩矩阵与其期望之间差值的算子范数的指数不等式。
• 样本二阶矩矩阵的最大与最小特征值在其期望值附近高度集中，其尾部概率以指数形式衰减。
• 样本二阶矩矩阵的条件数高度集中，以高概率被有界为期望条件数的常数倍。
• 利用推导出的矩阵集中结果，以高概率可从 O(D log D) 个随机采样点学习 D 个变量的三角多项式。