[论文解读] An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA

Matthias Hein, Thomas Bühler|arXiv (Cornell University)|Dec 3, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用 143

一句话总结

本论文提出了一种广义逆幂法，用于求解在1-谱聚类和稀疏主成分分析（PCA）中出现的非线性特征值问题，其中目标函数和约束条件为p-齐次函数而非二次型。该方法具有可证明的收敛性，并在合成数据集和真实世界数据集上均实现了最优的解质量与运行时间表现。

ABSTRACT

Many problems in machine learning and statistics can be formulated as (generalized) eigenproblems. In terms of the associated optimization problem, computing linear eigenvectors amounts to finding critical points of a quadratic function subject to quadratic constraints. In this paper we show that a certain class of constrained optimization problems with nonquadratic objective and constraints can be understood as nonlinear eigenproblems. We derive a generalization of the inverse power method which is guaranteed to converge to a nonlinear eigenvector. We apply the inverse power method to 1-spectral clustering and sparse PCA which can naturally be formulated as nonlinear eigenproblems. In both applications we achieve state-of-the-art results in terms of solution quality and runtime. Moving beyond the standard eigenproblem should be useful also in many other applications and our inverse power method can be easily adapted to new problems.

研究动机与目标

• 为解决标准二次特征值问题在机器学习中的局限性，将更广泛的约束优化问题形式化为非线性特征值问题。
• 开发一种通用、收敛的算法，用于在目标函数与约束为p-齐次、凸且Lipschitz连续时计算非线性特征向量。
• 将所提方法应用于两个关键的无监督学习问题——1-谱聚类与稀疏PCA，其中非线性形式可实现更优的聚类效果与稀疏性-可解释性权衡。
• 证明该方法在基准数据集上的解质量与计算效率均优于现有方法。

提出的方法

• 将非线性特征值问题表述为比值 $ F(f) = R(f)/S(f) $ 的临界点，其中 $ R $ 与 $ S $ 为p-齐次、凸、偶且Lipschitz连续的函数。
• 推导出广义逆幂法（IPM），其迭代更新为 $ f^{k+1} = \arg\max_{\|f\|_p=1} \langle f, \nabla R(f^k) \rangle $，并通过归一化保持约束 $ S(f) = 1 $，从而确保收敛至非线性特征向量。
• 通过Clarke广义梯度处理不可微性，将临界点定义为 $ 0 \in \partial F(f) $，使方法可应用于非光滑函数（如$ \ell_1 $-范数）。
• 将该方法适配至1-谱聚类，通过IPM求解1-拉普拉斯特征值问题，并引入类似总变差的正则化。
• 将同一框架应用于稀疏PCA，通过在Rayleigh商中引入$ \ell_1 $-正则化，得到一种带软阈值化的幂迭代方法以实现稀疏性。
• 采用线搜索与归一化步骤，保持$ \ell_2 $或$ \ell_1 $-范数下的单位长度，确保算法稳定与收敛。

实验结果

研究问题

• RQ1 能否开发一种广义逆幂法，使其在非二次、p-齐次优化问题上收敛至非线性特征向量？
• RQ2 所提出的IPM在1-谱聚类中的收敛性保证与计算效率方面，相较于现有方法表现如何？
• RQ3 该框架能否被适配至稀疏PCA，以实现解释方差与稀疏性之间更优的权衡？
• RQ4 该方法是否在真实世界数据集上均优于最先进算法，实现更高的解质量与更短的运行时间？

主要发现

• 所提出的逆幂法可证明收敛至1-拉普拉斯的非线性特征向量，而Szlam与Bresson（2011）提出的TV方法缺乏收敛性保证。
• 在两个月牙数据集上，IPM的平均比值Cheeger切分（RCC）为0.0195（±0.0015），与TV方法相当，显著优于标准谱聚类（0.0247）。
• 在MNIST与USPS数据集上，IPM分别取得最优的RCut值（0.1507与0.6661），优于标准谱聚类与TV方法。
• 在稀疏PCA中，IPM的解质量与最先进方法（如基于L1的幂方法与基于EM的算法）无显著差异，且在解释方差与稀疏性之间的权衡曲线完全一致。
• 即使仅进行一次运行，且以2-拉普拉斯的第二特征向量作为初始化，该方法仍能保持高性能，其切分质量至少与标准谱聚类在二分划分中相当。
• 运行时间表现与TV方法相当，两者均高效且可扩展至大规模数据集（如包含70,000个点的MNIST数据集）。