[论文解读] Max vs Min: Tensor Decomposition and ICA with nearly Linear Sample Complexity

Santosh Vempala, Ying Xiao|arXiv (Cornell University)|Dec 9, 2014

Blind Source Separation Techniques参考文献 21被引用 7

一句话总结

本文提出了一种递归特征值分解技术，将张量分解和ICA的样本复杂度降低至接近n的线性量级。通过利用Hessian矩阵中较大的特征值间隙，并结合迭代子空间投影与傅里叶PCA，该方法在四阶累积量假设下实现了ICA的Õ(n)样本复杂度，显著优于先前的多项式界。

ABSTRACT

We present a simple, general technique for reducing the sample complexity of matrix and tensor decomposition algorithms applied to distributions. We use the technique to give a polynomial-time algorithm for standard ICA with sample complexity nearly linear in the dimension, thereby improving substantially on previous bounds. The analysis is based on properties of random polynomials, namely the spacings of an ensemble of polynomials. Our technique also applies to other applications of tensor decompositions, including spherical Gaussian mixture models.

研究动机与目标

• 解决高维设置下张量分解和ICA算法的高样本复杂度问题。
• 开发一种实现独立分量分析（ICA）近似线性样本复杂度的方法。
• 改进现有需Ω(n⁵)个样本或更多的多项式时间ICA算法。
• 将该技术扩展至ICA以外的张量分解问题，包括球面对称高斯混合模型和含噪声模型。
• 在现实分布假设下，提供样本复杂度和误差界方面的理论保证。

提出的方法

• 基于特征函数Hessian矩阵中最大特征值间隙的递归子空间投影。
• 应用傅里叶PCA来估计涉及exp(iuᵀx)的二阶矩，其中u为随机单位向量。
• 利用谱范数集中性来限制估计误差，每个实例使用O(n)个样本。
• 通过联合界复用单一样本集于多个递归层级，确保高概率成功。
• 通过对随机u最大化特征值间隙，选择稳定的子空间以支持递归。
• 应用误差传播分析与递推关系，以有界方式控制递归层级间的累积误差。

实验结果

研究问题

• RQ1 张量分解和ICA能否在样本复杂度接近维度n的线性量级下求解？
• RQ2 如何利用特征函数Hessian矩阵中的大特征值间隙来降低样本复杂度？
• RQ3 估计特征函数Hessian矩阵所需的最少样本数是多少才能实现高精度？
• RQ4 递归特征值分解框架能否扩展至含噪声或欠定的ICA模型？
• RQ5 误差在递归分解层级间如何累积？能否以高概率进行有界控制？

主要发现

• 在四阶累积量假设下，该算法实现了ICA的Õ(n)样本复杂度，优于先前Ω(n⁵)的界。
• 该方法将样本复杂度降低至O(n · K²M⁴ log⁷n / Δ⁶ϵ²)，其中Δ为最小特征值间隙。
• 递归分解确保误差传播保持有界，经递归精炼后最终误差≤ϵ。
• 该技术适用于球面对称高斯混合模型及含高斯噪声模型的张量分解。
• 分析表明，即使在高斯分布上的三次多项式，其最大间隙也仅为O(1/n⁰.⁶)，对低阶情形的假设构成挑战。
• 该方法实现了维度上平滑扩展的实用ICA，经MATLAB实现验证。