[论文解读] Generalization Properties of Learning with Random Features

Alessandro Rudi, Lorenzo Rosasco|arXiv (Cornell University)|Feb 14, 2016

Machine Learning and Algorithms参考文献 50被引用 76

一句话总结

本文证明，在标准假设下，使用随机特征的岭回归仅需 $O(\sqrt{n}\log n)$ 个特征即可实现 $O(1/\sqrt{n})$ 的泛化误差——这远少于以往认为必需的 $O(n)$ 个特征，且达到了最优误差率。此外，研究还表明，通过使用更多特征或针对具体问题的采样方法，可实现更快的收敛速率，揭示了大规模核学习中的统计-计算权衡。

ABSTRACT

We study the generalization properties of ridge regression with random features in the statistical learning framework. We show for the first time that $O(1/\sqrt{n})$ learning bounds can be achieved with only $O(\sqrt{n}\log n)$ random features rather than $O({n})$ as suggested by previous results. Further, we prove faster learning rates and show that they might require more random features, unless they are sampled according to a possibly problem dependent distribution. Our results shed light on the statistical computational trade-offs in large scale kernelized learning, showing the potential effectiveness of random features in reducing the computational complexity while keeping optimal generalization properties.

研究动机与目标

• 为大规模核化学习中随机特征方法的理论理解与实际效率之间的差距提供填补。
• 确定在岭回归中维持最优泛化误差所需的最少随机特征数量。
• 探究是否可通过随机特征实现更快的学习速率，以及在何种条件下需要更多特征或非均匀采样。
• 分析随机化核近似中计算成本与统计性能之间的权衡。

提出的方法

• 在再生核希尔伯特空间（RKHS）设定下，于统计学习框架中分析使用随机特征的岭回归。
• 利用集中不等式和概率不等式，对随机特征估计器的泛化误差进行上界估计。
• 应用核岭回归理论中的分析工具，推导出估计误差的紧致上界。
• 引入受统计杠杆度量启发的问题相关采样方案，以减少所需特征数量。
• 将先前关于Nyström方法和随机特征的研究结果扩展至更一般的核类和非均匀采样情形。
• 通过在合成数据和真实数据上的数值模拟验证理论发现。

实验结果

研究问题

• RQ1 随机特征是否能以显著更少的特征数量，实现与完整核岭回归相同的泛化误差？
• RQ2 维持 $O(1/\sqrt{n})$ 泛化误差所需的最少随机特征数量是多少？
• RQ3 是否可通过随机特征实现更快的学习速率？若可以，其条件是什么？
• RQ4 对随机特征进行非均匀采样如何影响实现最优性能所需的特征数量？
• RQ5 在随机特征近似中，计算效率与统计精度之间的权衡关系如何？

主要发现

• 本文证明，$O(\sqrt{n}\log n)$ 个随机特征足以实现 $O(1/\sqrt{n})$ 的泛化误差，其性能与精确核岭回归相当。
• 该结果优于以往研究中所需 $O(n)$ 个特征才能达到相同误差边界的结论，表明计算效率的提升不会导致精度损失。
• 更快的学习速率（如 $O(1/n)$）是可实现的，但前提是随机特征的数量需与问题的光滑性及数据分布相适应。
• 基于数据生成分布或杠杆度量的非均匀特征采样，可减少实现快速率所需的特征数量。
• 数值实验验证了理论边界的准确性，预测值与观测到的泛化误差表现出良好一致性。
• 分析揭示了一个根本性的统计-计算权衡：只要采样方式具备问题感知特性，即可在亚线性特征数量下保持最优精度。