[论文解读] Faster Principal Component Regression via Optimal Polynomial Approximation to sgn(x).

Zeyuan Allen Zhu, Yuanzhi Li|arXiv (Cornell University)|Aug 16, 2016

Stochastic Gradient Optimization Techniques参考文献 16被引用 5

一句话总结

本文通过使用符号函数的最优多项式逼近，提出了一种更快的主成分回归（PCR）算法，以将向量投影到主成分子空间。该方法将黑箱岭回归调用次数从 Õ(γ⁻²) 减少到 Õ(γ⁻¹)，在不显式计算特征向量的情况下，显著提升了大规模PCR的效率。

ABSTRACT

We solve principle component regression (PCR) by providing an efficient algorithm to project any vector onto the subspace formed by the top principle components of a matrix. Our algorithm does not require any explicit construction of the top principle components, and therefore is suitable for large-scale PCR instances. Specifically, to project onto the subspace formed by principle components with eigenvalues above a threshold $\lambda$ and with a multiplicative accuracy $(1\pm \gamma) \lambda$, our algorithm requires $ ilde{O}(\gamma^{-1})$ black-box calls of ridge regression. In contrast, previous result requires $ ilde{O}(\gamma^{-2})$ such calls. We obtain this result by designing a degree-optimal polynomial approximation of the sign function.

研究动机与目标

• 解决现有PCR方法因需多次调用岭回归来近似主成分而导致的计算低效问题。
• 开发一种无需显式计算或存储特征向量即可将向量投影到主成分子空间的方法。
• 在所需精度参数 γ 的意义上，实现可证明更快的收敛速度。
• 设计一种在次数上最优的符号函数多项式逼近，以实现高效计算。

提出的方法

• 使用对投影到主特征空间至关重要的符号函数 sgn(x) 的次数最优多项式逼近。
• 构造一个多项式，使其在特征值高于阈值 λ 的范围内，对 sgn(x) 的逼近误差在 (1±γ)λ 以内。
• 通过迭代应用岭回归操作，将该多项式逼近应用于矩阵。
• 通过利用多项式次数的最优性，将所需的岭回归调用次数从 Õ(γ⁻²) 减少到 Õ(γ⁻¹)。
• 利用多项式逼近，隐式地将任意向量投影到主成分子空间，而无需显式进行特征分解。
• 通过仅依赖岭回归预言机，确保方法保持黑箱特性。

实验结果

研究问题

• RQ1 能否将PCR所需的岭回归调用次数降低至先前方法 Õ(γ⁻²) 边界的以下？
• RQ2 在特征值高于 λ 时，达到 (1±γ)λ 精度的符号函数 sgn(x) 的最小次数多项式逼近是多少？
• RQ3 这种最优多项式能否以黑箱方式高效应用于计算主成分子空间上的投影？
• RQ4 该方法在大规模场景下是否在显著降低计算成本的同时仍保持精度？
• RQ5 与传统迭代方法相比，使用符号函数 sgn(x) 的多项式逼近如何实现PCR中的更快收敛？

主要发现

• 所提出的算法将所需的岭回归调用次数从 Õ(γ⁻²) 减少到 Õ(γ⁻¹)，在精度参数 γ 上实现了二次加速。
• 该方法在不显式计算或存储主成分的情况下，实现了对高于阈值 λ 的特征值的投影精度 (1±γ)λ。
• 次数最优的符号函数 sgn(x) 逼近确保了最小的计算开销，并在迭代次数上具有理论最优性。
• 该算法为黑箱方法，仅需访问岭回归预言机，适用于大规模和分布式计算环境。
• 该方法通过避免昂贵的特征分解步骤，实现了高效的大型PCR计算。
• 理论分析证实，该方法在所需岭回归调用次数方面具有最优性。