[论文解读] Structure from Local Optima: Learning Subspace Juntas via Higher Order PCA

Santosh Vempala, Ying Xiao|arXiv (Cornell University)|Aug 16, 2011

Blind Source Separation Techniques参考文献 31被引用 23

一句话总结

该论文提出了一种广义独立分量分析（ICA）的新算法，通过利用高阶矩的局部最优解，恢复两个正交子空间——k维的'相关'子空间与(n−k)维的'噪声'子空间。该方法实现了对k-子空间junta（依赖于未知k维子空间的0-1函数）的高效学习，时间复杂度为T(k,ε) + poly(n)，其中T仅依赖于k维分量，显著扩展了ICA与学习理论的适用范围，突破了高斯分布和全乘积假设的限制。

ABSTRACT

We present a generalization of the well-known problem of learning k-juntas in R^n, and a novel tensor algorithm for unraveling the structure of high-dimensional distributions. Our algorithm can be viewed as a higher-order extension of Principal Component Analysis (PCA). Our motivating problem is learning a labeling function in R^n, which is determined by an unknown k-dimensional subspace. This problem of learning a k-subspace junta is a common generalization of learning a k-junta (a function of k coordinates in R^n) and learning intersections of k halfspaces. In this context, we introduce an irrelevant noisy attributes model where the distribution over the "relevant" k-dimensional subspace is independent of the distribution over the (n-k)-dimensional "irrelevant" subspace orthogonal to it. We give a spectral tensor algorithm which identifies the relevant subspace, and thereby learns k-subspace juntas under some additional assumptions. We do this by exploiting the structure of local optima of higher moment tensors over the unit sphere; PCA finds the global optima of the second moment tensor (covariance matrix). Our main result is that when the distribution in the irrelevant (n-k)-dimensional subspace is any Gaussian, the complexity of our algorithm is T(k,ε) + \poly(n), where T is the complexity of learning the concept in k dimensions, and the polynomial is a function of the k-dimensional concept class being learned. This substantially generalizes existing results on learning low-dimensional concepts.

研究动机与目标

• 通过在数据由互补子空间上分布的乘积生成时恢复两个正交子空间，推广ICA，而非依赖于完全独立性。
• 在较弱的分布假设下，解决学习k-子空间junta（依赖于未知k维子空间的0-1函数）的挑战。
• 开发一种不依赖高斯性或全乘积结构的方法，突破标准PCA与ICA的限制。
• 提供一种多项式时间算法，通过基于矩的优化与张量方法，在高维空间中学习复杂标记函数。

提出的方法

• 该算法利用单位球面上高阶矩函数（如四阶及更高阶矩）的局部最优解，识别出相关的k维子空间。
• 采用二阶梯度下降方法对张量进行优化，实现基于矩的方向的高效计算。
• 使用近似多项式恒等式检验（受Schwartz-Zippel启发），以区分矩增长的有界性与高斯型增长。
• 借助凸几何与概率工具，分析相关分布矩与高斯分布矩之间的分离性。
• 将样本投影到恢复的子空间上，并在k维空间中使用复杂度为T(k,ε)的假设类学习标记函数。
• 对于有界分布，利用矩界与切比雪夫不等式估计所需样本复杂度，确保以高概率恢复子空间。

实验结果

研究问题

• RQ1 在数据为两个正交子空间上分布的乘积生成的广义ICA设定下，能否利用高阶矩的局部最优解恢复分量子空间？
• RQ2 当相关分布有界或具有次高斯尾部时，该方法能否在不完全独立的条件下高效学习k-子空间junta？
• RQ3 基于矩优化恢复k维子空间的样本复杂度与时间复杂度是多少？其随k与ε的扩展特性如何？
• RQ4 在特征值退化或数据非高斯的情况下，该方法与PCA及标准ICA相比表现如何？
• RQ5 能否通过将分布分解为相关子空间与噪声子空间，将该算法扩展至学习复杂函数（如半空间交集）？

主要发现

• 该算法利用高阶矩的局部最优解恢复k维相关子空间，时间复杂度为T(k,ε) + poly(n)，其中T仅依赖于k维分量。
• 对于相关子空间中的有界分布，该方法使用O(g(k)²)阶矩实现Ω(1)的矩分离，从而实现子空间恢复。
• 当相关分布支持于半径为g(k)的球内时，算法需要O(n^{O(g(k)²)})组样本，总时间复杂度为T(k,ε) + C_{k,ε}n^{O(g(k)²)}。
• k维球体的四阶矩与高斯分布的四阶矩之间存在常数η = Ω(1)的分离，从而实现鲁棒的子空间检测。
• 对于相关子空间中单位球的凸子集，该算法通过凸包逼近在时间(k/ε)^{O(k)}内学习函数。
• 该方法推广了ICA，实现了对k-junta与k个半空间交集的高效学习，克服了PCA与标准ICA在非高斯或退化情况下的局限性。