[论文解读] A Comparison of Relaxations of Multiset Cannonical Correlation Analysis and Applications

Jan Rupnik, Primož Škraba+2 more|arXiv (Cornell University)|Feb 5, 2013

Blind Source Separation Techniques参考文献 22被引用 16

一句话总结

本文提出了一种半定规划（SDP）松弛方法用于多集合典型相关分析（MCCA），该问题为非凸二次约束二次规划（QCQP）问题，已被证明是NP难问题。尽管局部优化方法在实践中表现良好，SDP松弛仍能提供全局有效的上界和近似保证，且在合成数据和真实世界数据（包括跨语言文本挖掘）上验证了其在高维投影中的稳定性能。

ABSTRACT

Canonical correlation analysis is a statistical technique that is used to find relations between two sets of variables. An important extension in pattern analysis is to consider more than two sets of variables. This problem can be expressed as a quadratically constrained quadratic program (QCQP), commonly referred to Multi-set Canonical Correlation Analysis (MCCA). This is a non-convex problem and so greedy algorithms converge to local optima without any guarantees on global optimality. In this paper, we show that despite being highly structured, finding the optimal solution is NP-Hard. This motivates our relaxation of the QCQP to a semidefinite program (SDP). The SDP is convex, can be solved reasonably efficiently and comes with both absolute and output-sensitive approximation quality. In addition to theoretical guarantees, we do an extensive comparison of the QCQP method and the SDP relaxation on a variety of synthetic and real world data. Finally, we present two useful extensions: we incorporate kernel methods and computing multiple sets of canonical vectors.

研究动机与目标

• 为解决MCCA这一非凸QCQP问题在局部优化中缺乏全局最优性保证的问题。
• 证明尽管MCCA具有结构化形式，其问题仍为NP难。
• 开发一种可扩展的SDP松弛方法，同时提供绝对近似保证和输出敏感近似保证。
• 将方法扩展至基于核的多维典型向量计算，以提升实际应用价值。
• 在合成数据和真实世界中的跨语言文本挖掘应用中验证该方法。

提出的方法

• 将MCCA建模为一个二次约束二次规划（QCQP）问题，目标是最大化多个数据集之间成对相关性的总和。
• 证明MCCA问题的NP难性，从而证明需要采用松弛技术的必要性。
• 将QCQP松弛为一个凸的半定规划（SDP），以实现全局上界和近似保证。
• 引入一个预处理步骤，使用随机投影降低维度，从而使得SDP能够应用于高维数据（如文本数据）。
• 将方法扩展至核MCCA以捕捉非线性关系，并支持每视图计算多个典型向量。
• 利用SDP松弛来验证解的质量，并通过重新初始化指导局部优化。

实验结果

研究问题

• RQ1 尽管MCCA具有结构化形式，其是否仍为NP难问题？
• RQ2 半定规划（SDP）松弛能否为MCCA解提供可靠全局上界和近似保证？
• RQ3 在解的质量和稳定性方面，局部优化方法（如Horst算法）与SDP松弛相比表现如何？
• RQ4 通过随机投影进行降维是否能保持在大规模数据上计算紧致SDP上界的能力？
• RQ5 在哪些情况下局部算法无法找到近似最优解，而SDP能否帮助识别或纠正此类情况？

主要发现

• MCCA问题为NP难，证实了对一般实例寻找全局最优解在理论上是不可行的。
• 在合成数据上，局部优化方法常收敛至次优解，且与全局上界差距显著，尤其在低维情况下更为明显。
• 在高维情况下，局部方法表现良好，且SDP松弛的对偶间隙较小，表明上界紧密。
• 在五种EuroParl语言的跨语言文本挖掘任务中，随机投影向量的正则化参数γ=0.9时，模型在训练集和测试集上均表现出稳定性能，测试集相关性总和达到9.6。
• SDP松弛在降维数据上始终产生与局部算法一致的结果，表明当问题条件良好时，局部解通常为全局近似最优。
• 结合随机投影预处理与SDP松弛，使得在高维文本数据上有效利用上界成为可能，从而克服了内存限制。