[论文解读] A kernel method for canonical correlation analysis

Shotaro Akaho|ArXiv.org|Sep 13, 2006

Face and Expression Recognition参考文献 8被引用 459

一句话总结

本文提出核典型相关分析（KCCA），一种非线性扩展的典型相关分析方法，利用核方法捕捉多模态数据之间复杂的非线性关系，同时通过正则化防止过拟合。该方法通过核函数将数据映射到高维特征空间，利用核技巧实现高效计算，在模拟实验中获得较高的相关系数，证明其在模式识别任务中进行多模态特征提取的有效性。

ABSTRACT

Canonical correlation analysis is a technique to extract common features from a pair of multivariate data. In complex situations, however, it does not extract useful features because of its linearity. On the other hand, kernel method used in support vector machine is an efficient approach to improve such a linear method. In this paper, we investigate the effectiveness of applying kernel method to canonical correlation analysis.

研究动机与目标

• 为解决线性CCA在捕捉图像与语音等多模态数据之间非线性关系方面的局限性。
• 通过类似支持向量机中的核方法扩展典型相关分析，以实现非线性特征提取。
• 在核CCA框架中引入正则化，以防止过拟合并提高高维数据上的泛化能力。
• 提供一种计算效率更高的神经网络基非线性CCA的替代方案，具有更少的局部最优解和更低的计算成本。
• 探索核CCA与信息论方法（如多模态独立成分分析）的结合，以在不同噪声条件下获得更优的特征表示。

提出的方法

• 使用非线性特征映射 $\phi_x$ 和 $\phi_y$ 将输入数据从原始输入空间映射到高维再生核希尔伯特空间。
• 通过核技巧，用核函数 $k_x({\bf x}_i, {\bf x}_j) = \langle \phi_x({\bf x}_i), \phi_x({\bf x}_j) \rangle$ 替代希尔伯特空间中的内积，避免显式计算 $\phi$。
• 通过将典型向量表示为特征空间中训练数据的线性组合 $a = \sum_i \alpha_i \phi_x({\bf x}_i)$，推导出优化问题的对偶形式。
• 引入二次正则化项 $\frac{\eta}{2}(\|a\|^2 + \|b\|^2)$，以确保优化问题适定并避免过拟合。
• 通过在由训练样本构建的核矩阵上进行特征值分解，求解正则化拉格朗日函数。
• 在实验中使用参数 $\eta = 0.1$、$\sigma = 0.1$ 的高斯核来建模非线性依赖关系。

实验结果

研究问题

• RQ1 核方法能否有效将线性CCA扩展以建模多模态数据之间的非线性关系？
• RQ2 正则化如何提升核CCA在高维特征空间中的泛化性能？
• RQ3 在相关系数和计算效率方面，核CCA相较于传统CCA和基于神经网络的非线性CCA表现如何？
• RQ4 在何种数据条件下（如低噪声与高噪声）下，核CCA能优于或补充信息论方法（如多模态独立成分分析）？
• RQ5 当相关系数较高时，核CCA能否被调整以促进特征空间分布具有更高熵？

主要发现

• 核异方差CCA在模拟数据中成功捕捉到强非线性关系，在测试数据上第一对特征 ($u_1$ 和 $v_1$) 的相关系数达到 0.97。
• 第二对典型变量也表现出高相关性（0.95），表明该方法能有效从数据中提取多个非线性分量。
• 在模拟2中，核CCA通过在 $x$–$y$ 图中清晰分离类别结构，优于标准CCA，证明其在非线性特征提取方面的优越性。
• 与基于神经网络的非线性CCA方法相比，该方法避免了局部最优解并降低了计算成本。
• 使用 $\eta = 0.1$ 的正则化和 $\sigma = 0.1$ 的高斯核可获得稳定且高性能的结果，表明参数调优对最优性能至关重要。
• 在低噪声水平下，核CCA实现了近乎完美的相关性，表明互信息被最大化，该方法在该条件下表现有效。