[论文解读] A D.C. Programming Approach to the Sparse Generalized Eigenvalue Problem

Bharath K. Sriperumbudur, David Torres-Moreno+1 more|ArXiv.org|Jan 12, 2009

Advanced Optimization Algorithms Research参考文献 61被引用 10

一句话总结

本文提出一种基于学生t分布负对数似然的更紧致的基数近似方法，采用D.C.规划方法求解稀疏广义特征值问题。该方法采用一种保证全局收敛至驻点的分量最小化（MM）算法，在稀疏PCA与CCA应用中优于β-范数方法，实现了更高的稀疏性与可解释性。

ABSTRACT

In this paper, we consider the sparse eigenvalue problem wherein the goal is to obtain a sparse solution to the generalized eigenvalue problem. We achieve this by constraining the cardinality of the solution to the generalized eigenvalue problem and obtain sparse principal component analysis (PCA), sparse canonical correlation analysis (CCA) and sparse Fisher discriminant analysis (FDA) as special cases. Unlike the $\ell_1$-norm approximation to the cardinality constraint, which previous methods have used in the context of sparse PCA, we propose a tighter approximation that is related to the negative log-likelihood of a Student's t-distribution. The problem is then framed as a d.c. (difference of convex functions) program and is solved as a sequence of convex programs by invoking the majorization-minimization method. The resulting algorithm is proved to exhibit \emph{global convergence} behavior, i.e., for any random initialization, the sequence (subsequence) of iterates generated by the algorithm converges to a stationary point of the d.c. program. The performance of the algorithm is empirically demonstrated on both sparse PCA (finding few relevant genes that explain as much variance as possible in a high-dimensional gene dataset) and sparse CCA (cross-language document retrieval and vocabulary selection for music retrieval) applications.

研究动机与目标

• 为高维数据分析中的广义特征值问题求解稀疏解提供解决方案。
• 利用学生t分布的负对数似然，提出一种比标准β-范数更紧致的基数约束近似方法。
• 将稀疏广义特征值问题建模为D.C.规划问题，并通过具有全局收敛保证的分量最小化（MM）算法求解。
• 在稀疏PCA、CCA与FDA应用中验证该方法的有效性，尤其在基因筛选与跨语言文档检索任务中表现优异。

提出的方法

• 通过基于t分布的近似方法表达基数约束，将问题重述为D.C.规划形式，即转化为凸函数之差的表达形式。
• 应用分量最小化（MM）算法，通过迭代求解一系列凸子问题以最小化D.C.目标函数。
• 该算法保证全局收敛：任意随机初始化均可收敛至D.C.规划的驻点。
• 将该方法适配于具体应用场景：稀疏PCA（使用协方差矩阵与单位矩阵）、稀疏CCA（通过交叉协方差与协方差矩阵）、稀疏FDA（通过类间与类内散度矩阵）。
• 在β = ∞与β = 0的特殊情况下，更新规则简化为基于对偶问题与拉格朗日松弛推导出的软阈值化操作。
• 通过线性化D.C.目标函数中的非凸项，推导出该算法，确保每一步迭代的子问题均为凸问题。

实验结果

研究问题

• RQ1 能否开发一种更紧致的基数约束近似方法，以提升稀疏广义特征值问题中的稀疏性与解的质量？
• RQ2 基于t分布正则化的D.C.规划方法是否在稀疏PCA与CCA中相比β-范数松弛方法展现出更优的收敛性与稀疏性？
• RQ3 分量最小化框架是否能在一般条件下保证稀疏广义特征值问题的全局收敛？
• RQ4 在真实数据集（如基因表达数据与跨语言文档检索）上，该方法的性能与现有方法相比如何？

主要发现

• 所提出的基于t分布基数近似的D.C.规划方法在稀疏PCA与CCA中，相比β-范数松弛方法，实现了更高的稀疏性与更优的解质量。
• MM算法表现出全局收敛性：对于任意随机初始化，迭代序列均收敛至D.C.规划的驻点。
• 实验结果表明，该方法在高维基因数据集中能更有效地识别相关基因。
• 该方法在稀疏CCA中可有效支持跨语言文档检索与音乐标注任务中的词汇选择。
• 在特殊情形（β = 0）下，算法的更新规则简化为基于对偶问题与拉格朗日松弛推导出的归一化软阈值化操作。
• 理论分析证实，子问题为凸问题，且整体算法定义良好并具有收敛性。