[论文解读] A Self-consistent-field Iteration for Orthogonal Canonical Correlation Analysis

Lei‐Hong Zhang, Li Wang+2 more|arXiv (Cornell University)|Sep 25, 2019

Blind Source Separation Techniques参考文献 53被引用 5

一句话总结

该论文提出了一种用于正交典型相关分析（OCCA）的自洽场（SCF）迭代方法，利用带有正交约束的迹-分数优化结构。该算法确保全局收敛，并在多标签分类和多视图特征提取任务中，优于现有方法，在准确性和效率方面表现更优。

ABSTRACT

We propose an efficient algorithm for solving orthogonal canonical correlation analysis (OCCA) in the form of trace-fractional structure and orthogonal linear projections. Even though orthogonality has been widely used and proved to be a useful criterion for pattern recognition and feature extraction, existing methods for solving OCCA problem are either numerical unstable by relying on a deflation scheme, or less efficient by directly using generic optimization methods. In this paper, we propose an alternating numerical scheme whose core is the sub-maximization problem in the trace-fractional form with an orthogonal constraint. A customized self-consistent-field (SCF) iteration for this sub-maximization problem is devised. It is proved that the SCF iteration is globally convergent to a KKT point and that the alternating numerical scheme always converges. We further formulate a new trace-fractional maximization problem for orthogonal multiset CCA (OMCCA) and then propose an efficient algorithm with an either Jacobi-style or Gauss-Seidel-style updating scheme based on the same SCF iteration. Extensive experiments are conducted to evaluate the proposed algorithms against existing methods including two real world applications: multi-label classification and multi-view feature extraction. Experimental results show that our methods not only perform competitively to or better than baselines but also are more efficient.

研究动机与目标

• 解决现有OCCA求解器依赖降维或通用优化方法所导致的数值不稳定与效率低下问题。
• 设计一种结构感知算法，利用OCCA的迹-分数形式，确保收敛性与稳定性。
• 将方法扩展至正交多集典型相关分析（OMCCA），并引入灵活加权方案，以提升多视图数据上的性能表现。
• 在真实应用场景中展示优越性能，如多标签分类与多视图特征提取。

提出的方法

• 设计一种定制化的自洽场（SCF）迭代方法，用于在正交约束下求解迹-分数形式的子最大化问题。
• 证明SCF迭代可全局收敛至KKT点，并建立交替数值方案的收敛性。
• 为OMCCA提出新的迹-分数最大化问题，采用top-p加权方案以优先选择信息量高的视图对。
• 基于SCF迭代，实现雅可比风格与高斯-赛德尔风格的更新方案，以提升计算效率。
• 将基于SCF的算法整合至OCCA与OMCCA的两步交替优化框架中。
• 在学习到的嵌入表示上使用1-NN分类器，评估其在分类与特征提取等下游任务中的性能。

实验结果

研究问题

• RQ1 是否存在一种结构感知的迭代方法，能够在保证收敛性与稳定性的前提下，超越通用优化与基于降维的方法在求解OCCA中的表现？
• RQ2 在多视图学习中，引入正交性约束如何影响多集CCA的性能与鲁棒性？
• RQ3 不同视图对加权方案（如top-p、随机、均匀）对OMCCA最终分类准确率有何影响？
• RQ4 所提出的基于SCF的方法在计算效率上相较于MCCA与OMCCA-SS在不同数据维度与训练比例下表现如何？
• RQ5 该方法在包括高维与类别不平衡数据在内的多样化真实世界数据集上，是否能保持一致的性能提升？

主要发现

• 所提出的OCCA-scf算法实现全局收敛且数值稳定，避免了增量方法中广义特征值问题带来的不稳定性。
• 采用top-p加权方案的RCOMCCA在全部五个多视图数据集上均优于MCCA与OMCCA-SS，且在其中四个数据集上甚至超越了最佳单视图分类器。
• RCOMCCA-G（高斯-赛德尔）与RCOMCCA-J（雅可比）性能几乎完全一致，表明其对更新策略选择具有鲁棒性。
• RCOMCCA在效率上显著优于MCCA与OMCCA-SS，在yeast_ribosomal数据集上，MCCA耗时超过RCOMCCA的10倍以上。
• 所有正交约束方法（RCOMCCA、OMCCA-SS）在训练比例增加时均表现出一致的性能提升，而MCCA在yeast_ribosomal数据集上则未能改善性能。
• 除在Caltech101-7数据集上MCCA与在yeast_ribosomal数据集上OMCCA-SS在k值较小时性能下降外，其余所有方法的性能均随降维维度k的减小而提升。