[论文解读] Large-Scale Approximate Kernel Canonical Correlation Analysis

Weiran Wang, Karen Livescu|arXiv (Cornell University)|Jan 1, 2016

Neural Networks and Applications被引用 21

一句话总结

本文提出了一种可扩展的随机优化方法，用于大规模近似核典型相关分析（KCCA），通过结合随机特征映射与随机CPCA，实现了在大规模数据集上的高效计算。该方法在标准工作站上成功将KCCA扩展至140万条语音样本，特征空间维度达10万维，克服了传统KCCA计算成本过高的问题。

ABSTRACT

Abstract: Kernel canonical correlation analysis (KCCA) is a nonlinear multi-view representation learning technique with broad applicability in statistics and machine learning. Although there is a closed-form solution for the KCCA objective, it involves solving an $N imes N$ eigenvalue system where $N$ is the training set size, making its computational requirements in both memory and time prohibitive for large-scale problems. Various approximation techniques have been developed for KCCA. A commonly used approach is to first transform the original inputs to an $M$-dimensional random feature space so that inner products in the feature space approximate kernel evaluations, and then apply linear CCA to the transformed inputs. In many applications, however, the dimensionality $M$ of the random feature space may need to be very large in order to obtain a sufficiently good approximation; it then becomes challenging to perform the linear CCA step on the resulting very high-dimensional data matrices. We show how to use a stochastic optimization algorithm, recently proposed for linear CCA and its neural-network extension, to further alleviate the computation requirements of approximate KCCA. This approach allows us to run approximate KCCA on a speech dataset with $1.4$ million training samples and a random feature space of dimensionality $M=100000$ on a typical workstation.

研究动机与目标

• 解决核典型相关分析（KCCA）在大规模数据集上的高计算成本问题。
• 通过利用随机特征近似，降低KCCA中的内存和时间需求。
• 通过在高维随机特征空间中应用随机优化，提升近似KCCA的可扩展性。
• 实现在真实世界大规模数据集（如超过一百万条样本的语音数据）上KCCA的实际部署。
• 证明随机优化可在不牺牲近似质量的前提下，有效处理高维随机特征矩阵。

提出的方法

• 使用随机特征映射近似核计算，将输入映射到M维空间，使内积近似核值。
• 在随机特征空间中对变换后的数据应用线性CPCA，通过核近似学习非线性表示。
• 引入一种随机优化算法——此前为线性CPCA及其神经网络变体所开发——以降低CPCA步骤的计算成本。
• 使用数据的小批量进行CPCA目标优化，与批量特征分解相比，显著降低了内存和时间复杂度。
• 将随机特征近似与随机CPCA结合，使KCCA可扩展至N > 100万条样本、M = 10万维特征的数据集。
• 使用标准的随机傅里叶特征或其他平移不变核近似方法，在保持近似精度的同时实现高效优化。

实验结果

研究问题

• RQ1 随机优化能否有效应用于近似KCCA中线性CPCA步骤，以降低计算成本？
• RQ2 所提出方法在具有高维随机特征空间的大数据集上如何扩展？
• RQ3 在大规模KCCA中使用随机优化时，近似精度与计算效率之间的权衡如何？
• RQ4 该方法能否处理具有超过一百万条样本和高维特征映射的真实世界数据集？
• RQ5 随机方法是否在实现可扩展性的同时，保持了传统KCCA的表示能力？

主要发现

• 所提出方法使近似KCCA可扩展至包含140万条训练样本的数据集，而标准KCCA由于O(N²)的内存和时间复杂度，难以实现。
• 在10万维随机特征空间下，该方法在大规模语音数据上实现了有效的非线性表示学习。
• 随机优化显著降低了CPCA步骤的计算负担，使在标准工作站上无需专用硬件即可完成训练成为可能。
• 该方法在显著提升可扩展性的同时，保持了KCCA的表示能力，优于批量特征分解方法。
• 该方法证明了将随机特征近似与随机CPCA结合，是大规模多视图表示学习的一种可行且高效的解决方案。
• 该框架具有通用性，可扩展至其他需要高维特征映射和高效优化的核方法。