[论文解读] Fast DPP Sampling for Nyström with Application to Kernel Methods

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Mar 19, 2016

Markov Chains and Monte Carlo Methods参考文献 46被引用 36

一句话总结

该论文提出 Dpp-Nyström，一种基于行列式点过程（DPPs）的地标选择方法，用于改进核方法中的 Nyström 近似精度，通过选择多样且信息丰富的地标实现。该方法引入了一种快速 Gibbs 采样器用于 DPP 采样，在特定条件下实现线性时间复杂度，从而在核近似中实现可扩展的高精度，且在时间-误差权衡方面优于当前最先进方法。

ABSTRACT

The Nyström method has long been popular for scaling up kernel methods. Its theoretical guarantees and empirical performance rely critically on the quality of the landmarks selected. We study landmark selection for Nyström using Determinantal Point Processes (DPPs), discrete probability models that allow tractable generation of diverse samples. We prove that landmarks selected via DPPs guarantee bounds on approximation errors; subsequently, we analyze implications for kernel ridge regression. Contrary to prior reservations due to cubic complexity of DPPsampling, we show that (under certain conditions) Markov chain DPP sampling requires only linear time in the size of the data. We present several empirical results that support our theoretical analysis, and demonstrate the superior performance of DPP-based landmark selection compared with existing approaches.

研究动机与目标

• 通过使用行列式点过程（DPPs）进行多样性感知采样，替代随机或启发式地标选择，以提高核方法中 Nyström 近似的精度。
• 针对 DPP 采样长期存在的可扩展性问题（传统上具有立方复杂度）提出一种快速 Gibbs 采样器用于 DPPs。
• 从理论上和实证上验证基于 Dpp 的地标选择在低秩矩阵近似中可获得更紧的相对误差界，并在核岭回归中获得更好的风险界。
• 证明所提出的 k-DPP 迭代 Gibbs 采样器在温和条件下混合迅速，且在满足特定条件下可实现线性时间采样复杂度，从而支持大规模应用。
• 与现有地标选择方法（包括杠杆度采样和基于 K-means 的方法）相比，建立 Dpp-Nyström 在时间-误差权衡方面的优势。

提出的方法

• 该方法使用 k-行列式点过程（k-DPP）从数据中采样一个多样化的地标子集，确保所选核矩阵的列既具代表性又彼此不相关。
• DPP 采样通过 Gibbs 马尔可夫链蒙特卡洛（MCMC）采样器实现，该采样器迭代地一次重采样一个地标，以生成目标 DPP 分布的样本。
• 通过路径耦合分析 Gibbs 采样器的混合时间，证明在特定条件（特别是当参数 α < 1 时）下，该链在 O(N) 次迭代内混合，意味着采样复杂度为线性。
• 该方法利用核矩阵的特征多项式，推导出 Nyström 近似中相对 Frobenius 范数和谱范数误差的理论界。
• 对于核岭回归，论文推导了在 Dpp 采样分布下成立的期望风险界，表明其具有更优的一般化性能。
• 实验评估将 Dpp-Nyström 与当前最先进方法（包括杠杆度采样（Lev, RegLev）、K-means Nyström 和自适应采样）进行比较，涵盖精确与近似变体。

实验结果

研究问题

• RQ1 与均匀采样或启发式采样相比，基于 DPP 的地标选择能否在 Nyström 近似中实现可证明更紧的相对误差界？
• RQ2 在地标选择中使用 DPP 是否能提升核岭回归中的泛化性能，且能否通过风险界进行量化？
• RQ3 在大规模核方法中，能否实际克服 DPP 采样固有的立方复杂度？k-DPP 的 Gibbs 采样器在何种条件下可实现线性时间收敛？
• RQ4 所提出的 Gibbs 采样器的时间-误差权衡与现有地标选择方法（包括近似杠杆度采样和基于 K-means 的方法）相比如何？
• RQ5 Dpp-Nyström 的实证性能在不同数据集和核带宽下是否保持鲁棒，特别是在近似精度和运行效率方面？

主要发现

• 与均匀采样及其他启发式方法相比，Dpp-Nyström 在 Frobenius 范数和谱范数下的相对近似误差显著更低，在 Ailerons 和 California Housing 数据集上均观察到误差显著降低。
• 理论分析表明，基于 Dpp 的地标选择可保证依赖于核矩阵特征多项式的相对误差界，推广了以往将地标数量固定为目标秩的研究。
• 在参数 α < 1 的条件下，k-DPP 的 Gibbs 采样器被证明可在 O(N) 时间内混合，该条件在真实数据集上得到实证验证，尤其在带宽较小的核中表现明显。
• 实证结果表明，Gibbs 采样器收敛迅速，近似误差在前几百次迭代内急剧下降，之后仅轻微波动，表明即使在大规模 N 下也具有快速混合特性。
• 在 Ailerons（N=4,000）和 California Housing（N=12,000）数据集上，Dpp-Nyström 在所有评估方法中实现了最佳时间-误差权衡，其在精度和效率上均优于近似杠杆度采样和 K-means Nyström。
• 即使当 α > 1 时，该方法仍保持有效性，表明理论界较为保守，且 Gibbs 采样器的实际适用范围超出混合时间分析的预测。