[论文解读] A Randomized Algorithm for CCA

Paul Mineiro, Nikos Karampatziakis|arXiv (Cornell University)|Nov 13, 2014

Stochastic Gradient Optimization Techniques参考文献 19被引用 18

一句话总结

本文提出 RandomizedCCA，一种快速、可扩展的典型相关分析（CCA）算法，通过使用随机化范围查找和低秩近似，仅需两次数据遍历即可实现高精度。该算法为迭代方法（如 Horst 迭代）提供了高效的初始化，并通过内在正则化实现优越的泛化性能，在大规模数据集上表现出色，且计算开销极低。

ABSTRACT

We present RandomizedCCA, a randomized algorithm for computing canonical analysis, suitable for large datasets stored either out of core or on a distributed file system. Accurate results can be obtained in as few as two data passes, which is relevant for distributed processing frameworks in which iteration is expensive (e.g., Hadoop). The strategy also provides an excellent initializer for standard iterative solutions.

研究动机与目标

• 解决传统 CCA 在大规模数据集（存储于外存或分布式系统中）时的计算低效问题。
• 减少如 Horst 迭代等迭代方法为收敛所需执行的昂贵数据遍历次数，这些方法可能需要数百次遍历才能收敛。
• 为分布式或高延迟环境中的迭代 CCA 求解器提供一种快速、精确的初始化方法，以加速收敛。
• 在不同正则化设置下，探究随机化 CCA 与标准迭代方法在泛化性能上的差异。
• 证明随机化 CCA 具备有益的隐式正则化特性，即使在未显式调优正则化参数的情况下，也能提升未见数据上的测试性能。

提出的方法

• 该算法使用高斯随机矩阵作为随机化范围查找器，以近似交叉相关矩阵 $\mathbf{A}^\top\mathbf{B}$ 的主导子空间。
• 在数据上执行 $q$ 次幂迭代，通过矩阵-向量乘积 $\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$ 和 $\mathbf{B}^\top\mathbf{A}\mathbf{Q}_a$ 更新范围近似 $\mathbf{Q}_a$ 和 $\mathbf{Q}_b$。
• 范围近似完成后，计算小规模协方差矩阵 $\mathbf{C}_a = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{A}\mathbf{Q}_a$、$\mathbf{C}_b = \mathbf{Q}_b^\top\mathbf{B}^\top\mathbf{B}\mathbf{Q}_b$，以及交叉协方差 $\mathbf{F} = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$。
• 使用正则化 Cholesky 分解 $\mathbf{L}_a = \mathrm{chol}(\mathbf{C}_a + \lambda_a \mathbf{Q}_a^\top\mathbf{Q}_a)$ 和 $\mathbf{L}_b = \mathrm{chol}(\mathbf{C}_b + \lambda_b \mathbf{Q}_b^\top\mathbf{Q}_b)$ 对投影进行归一化。
• 通过标准化交叉协方差 $\mathbf{F}$ 的 SVD 计算最终的 CCA 方向，随后使用 $\mathbf{X}_a = \sqrt{n} \mathbf{Q}_a \mathbf{L}_a^{-1} \mathbf{U}$ 将其投影回原始空间。
• 该方法采用无量纲正则化参数化方式 $\lambda_a = \nu \mathrm{Tr}(\mathbf{A}^\top\mathbf{A})/d_a$，确保在不同数据集上均具有稳健性能。

实验结果

研究问题

• RQ1 随机化算法能否在仅需两次数据遍历的情况下，实现与 Horst 迭代等迭代方法相当的 CCA 精度？
• RQ2 与标准随机初始化或零初始化相比，RandomizedCCA 是否能为迭代求解器提供更优的初始化？
• RQ3 当正则化参数被调优以提升测试性能时，RandomizedCCA 的泛化性能与迭代方法相比如何？
• RQ4 即使正则化未显式调优，随机化方法是否仍能通过内在正则化提升泛化性能？
• RQ5 过采样数 $p$ 和幂迭代次数 $q$ 对解的收敛性和精度有何影响？

主要发现

• 当 $q=2$ 且 $p=2000$ 时，RandomizedCCA 的训练典型相关系数达到 56.666，测试相关系数为 56.528，接近于经过 120 次遍历的 Horst 迭代性能。
• 当使用 RandomizedCCA（$p=1000$，$q=1$）初始化时，Horst 迭代仅需 34 次总数据遍历即可收敛，单节点上的总耗时从 899 秒减少至 636 秒。
• 当 $\nu=0.01$ 时，RandomizedCCA 的测试相关系数达到 56.860，优于相同 $\nu$ 下的 Horst 迭代（56.628），并匹配到最佳性能的 Horst 迭代结果。
• 该算法在机器精度下保持可行性：所有投影均具有单位（正则化）协方差，且交叉协方差为对角矩阵。
• 图 3 显示，与 Horst 迭代相比，RandomizedCCA 对正则化参数 $\nu$ 的敏感度更低，表明其泛化能力更具鲁棒性。
• 该方法通过聚焦于 $\mathbf{A}^\top\mathbf{B}$ 的顶部谱进行优化，实现了隐式正则化，类似于对 PCA 回归的岭回归。