[论文解读] Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off

Bharath K. Sriperumbudur, Nicholas Sterge|arXiv (Cornell University)|Jun 20, 2017

Sparse and Compressive Sensing Techniques参考文献 42被引用 14

一句话总结

该论文提出了一种核主成分分析（KPCA）的随机特征近似方法（RF-EKPCA），通过使用随机特征将数据投影到有限维空间，实现了计算效率与统计一致性。该方法证明了RF-EKPCA可达到极小极大最优收敛速率，平衡了通过特征空间投影重构核函数时的计算成本与统计误差。

ABSTRACT

Kernel methods are powerful learning methodologies that allow to perform non-linear data analysis. Despite their popularity, they suffer from poor scalability in big data scenarios. Various approximation methods, including random feature approximation, have been proposed to alleviate the problem. However, the statistical consistency of most of these approximate kernel methods is not well understood except for kernel ridge regression wherein it has been shown that the random feature approximation is not only computationally efficient but also statistically consistent with a minimax optimal rate of convergence. In this paper, we investigate the efficacy of random feature approximation in the context of kernel principal component analysis (KPCA) by studying the trade-off between computational and statistical behaviors of approximate KPCA. We show that the approximate KPCA is both computationally and statistically efficient compared to KPCA in terms of the error associated with reconstructing a kernel function based on its projection onto the corresponding eigenspaces. The analysis hinges on Bernstein-type inequalities for the operator and Hilbert-Schmidt norms of a self-adjoint Hilbert-Schmidt operator-valued U-statistics, which are of independent interest.

研究动机与目标

• 为解决在大数据场景下核主成分分析（KPCA）的可扩展性限制，其中计算复杂度为O(n³)。
• 研究在使用随机特征映射时，近似KPCA的计算效率与统计精度之间的权衡。
• 为基于随机特征的KPCA提供统计一致性和收敛速率的理论保证。
• 推导基于近似协方差算子特征空间的核函数重构误差界。
• 推导适用于自伴希尔伯特-施密特算子值U统计量的新型伯恩斯坦型不等式，其本身具有独立的理论价值。

提出的方法

• 通过随机傅里叶特征或类似构造，使用有限维随机特征映射Φₘ(x) ∈ ℝᵐ近似无限维特征映射Φ(x) = k(·,x)。
• 用其随机特征近似Σ̂ₘ替代经验核协方差算子Σ̂，该近似由映射数据(Φₘ(Xᵢ))ₙᵢ₌₁计算得出。
• 对有限维数据(Φₘ(Xᵢ))执行标准线性PCA，以计算Σ̂ₘ的特征系统，将时间复杂度降低至O(m²ℓ + m²n)。
• 通过比较真实核函数在Σ与Σₘ的前ℓ个特征空间上的投影，分析核函数重构中的误差。
• 利用算子范数与希尔伯特-施密特范数，推导真实与近似特征空间之间差异的高概率界。
• 建立适用于自伴希尔伯特-施密特算子值U统计量的新型伯恩斯坦型不等式，从而实现非渐近误差控制。

实验结果

研究问题

• RQ1 随机特征近似如何影响核主成分分析在核函数重构方面的统计精度？
• RQ2 在近似KPCA中，计算成本（依赖于m）与统计误差（依赖于n和谱衰减）之间的权衡是什么？
• RQ3 随机特征近似能否实现核主成分分析的极小极大最优收敛速率？
• RQ4 基于协方差算子的谱衰减，特征空间近似有哪些非渐近误差界？
• RQ5 是否存在可用于分析真实与近似协方差算子之间算子范数差异的新浓度不等式？

主要发现

• 核主成分分析的随机特征近似（RF-EKPCA）在计算效率与统计一致性方面均表现优异，实现了极小极大最优收敛速率。
• 在温和假设下，基于近似协方差算子Σₘ的前ℓ个特征空间投影的核函数重构误差被限制在O(1/√m)以内。
• 误差界按O((∑ᵢ>ℓ λᵢ²⁻ˢ)¹ᐟ²⁻ˢ)的速率缩放，其中s ∈ [−2, 0)，当m ≳ (∑ᵢ>ℓ λᵢ²⁻ˢ)²ᐟˢ时，该速率达到极小极大最优。
• 本文推导了适用于自伴希尔伯特-施密特U统计量的算子范数与希尔伯特-施密特范数的新型伯恩斯坦型不等式，这些不等式对于控制Σₘ与Σ之间的偏差至关重要。
• 理论分析表明，近似误差的衰减速率与极小极大下界一致，证实了统计最优性。
• 该方法实现了有利的权衡：当m < √(nℓ)时，计算成本从O(n²ℓ)降低至O(m²ℓ + m²n)，同时保持了统计精度。