[论文解读] Faster Principal Component Regression and Stable Matrix Chebyshev Approximation

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Aug 16, 2016

Matrix Theory and Algorithms参考文献 20被引用 9

一句话总结

该论文通过将主成分回归（PCR）问题转化为 O(γ⁻¹ log(1/γε)) 次岭回归的黑箱调用，提出了一种更快的算法，相比先前方法实现了二次加速。该方法利用矩阵切比雪夫多项式的稳定递推关系，并采用近似最优的多项式逼近矩阵符号函数，从而在无需显式计算主成分分析（PCA）的情况下，实现高效且精确的低秩投影。

ABSTRACT

We solve principal component regression (PCR), up to a multiplicative accuracy $1+\\gamma$, by reducing the problem to $\ ilde{O}(\\gamma^{-1})$ black-box calls of ridge regression. Therefore, our algorithm does not require any explicit construction of the top principal components, and is suitable for large-scale PCR instances. In contrast, previous result requires $\ ilde{O}(\\gamma^{-2})$ such black-box calls. We obtain this result by developing a general stable recurrence formula for matrix Chebyshev polynomials, and a degree-optimal polynomial approximation to the matrix sign function. Our techniques may be of independent interests, especially when designing iterative methods.

研究动机与目标

• 解决经典PCR方法因与前k个主成分数量线性相关而导致的计算不可行性问题。
• 为PCP和PCR中的矩阵符号函数开发一种高效且稳定的近似方法。
• 与先前工作相比，将岭回归调用次数减少至 O(γ⁻¹ log(1/γε))，实现二次加速，相较之前的 O(γ⁻² log(1/ε)) 有所改进。
• 提供一种无需严格特征值间隔假设的 (γ, ε)-近似PCP和PCR框架。
• 通过构建切比雪夫多项式求值的稳定向后递推，确保迭代计算中的数值稳定性。

提出的方法

• 通过变换 S = (AᵀA + λI)⁻¹(AᵀA − λI) 将PCP和PCR问题转化为矩阵符号函数的多项式逼近。
• 基于第二类切比雪夫多项式构造一个稳定递推关系，用于逼近 g(x) ≈ sign(x) 的多项式。
• 利用系数有界于 O(1/γ) 的切比雪夫级数，近似函数 (1 + κ − x)⁻¹/²，从而实现稳定求值。
• 使用向后递推计算矩阵多项式 g(S)χ，每步误差为 O(ε′)，结合定理6.4可保证整体误差仍为 O(ε)。
• 利用岭回归求解器（如SVRG）可作为黑箱调用，仅引入对数精度开销。
• 将该近似方法分别应用于PCP（向量投影）和PCR（在主子空间中求解回归），并针对每类任务分别调整参数。

实验结果

研究问题

• RQ1 我们能否将 (γ, ε)-近似PCR 所需的岭回归调用次数减少至 O(γ⁻² log(1/ε)) 以下？
• RQ2 是否可能构造出一个具有近似最优次数 O(γ⁻¹ log(1/γε)) 的稳定多项式逼近矩阵符号函数？
• RQ3 该算法是否可在无需特征值间隔假设的条件下运行，从而在实际数据集中更具适用性？
• RQ4 在每步误差有界的情况下，切比雪夫多项式求值的向后递推是否能保持计算精度？
• RQ5 该框架能否同时扩展至PCP和PCR，并提供可证明的 (γ, ε)-近似保证？

主要发现

• 所提算法将岭回归调用次数减少至 O(γ⁻¹ log(1/γε))，相比先前的 O(γ⁻² log(1/ε)) 方法实现了二次加速。
• 该方法在无需特征值间隔假设的前提下实现了 (γ, ε)-近似PCP和PCR，使其适用于真实世界数据集。
• 该算法具有数值稳定性：最终误差被限制在 O(ε′γ⁻⁴n³) · ∥χ∥ 范围内，且当 log(1/ε′) = Θ(log(1/εγ)) 时，总误差保持为 O(ε)∥χ∥。
• 通过 g(x) 的构造方式：g(x) = x · q(1 + κ − 2x²)，其中 q(x) ≈ (1 + κ − x)⁻¹/²，可得到近似最优的多项式次数 Θ(γ⁻¹ log(1/γε))。
• 该框架适用于PCP和PCR：对于PCR，所需参数为 n = Θ(γ⁻¹ log(1/γλε))，m = Θ(log(1/εγ))，且 log(1/ε′) = Θ(log(1/εγ))。
• 分析结果表明，Frostig等人提出的算法也满足 (γ, ε)-近似性质中的第3条（对任意 ν ∈ [0, ν] 的向量投影），从而解决了关于稳定性和完备性的开放问题。