[论文解读] Optimal Rates for Random Fourier Features

Bharath K. Sriperumbudur, Zoltán Szabó|arXiv (Cornell University)|Jun 6, 2015

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 49

一句话总结

本文首次对随机傅里叶特征（RFF）在近似平移不变核函数时提供了有限样本、最优速率的理论分析。研究证明，RFF在紧集上的一致范数下实现了最优收敛速率 $ m^{-1/2} $，并提供了 $ L^r $ 范数下的保证，同时对导数逼近进行了理论边界分析。

ABSTRACT

Kernel methods represent one of the most powerful tools in machine learning to tackle problems expressed in terms of function values and derivatives due to their capability to represent and model complex relations. While these methods show good versatility, they are computationally intensive and have poor scalability to large data as they require operations on Gram matrices. In order to mitigate this serious computational limitation, recently randomized constructions have been proposed in the literature, which allow the application of fast linear algorithms. Random Fourier features (RFF) are among the most popular and widely applied constructions: they provide an easily computable, low-dimensional feature representation for shift-invariant kernels. Despite the popularity of RFFs, very little is understood theoretically about their approximation quality. In this paper, we provide a detailed finite-sample theoretical analysis about the approximation quality of RFFs by (i) establishing optimal (in terms of the RFF dimension, and growing set size) performance guarantees in uniform norm, and (ii) presenting guarantees in $L^r$ ($1\le r

研究动机与目标

• 为填补对随机傅里叶特征（RFF）逼近质量的理论理解空白，RFF虽被广泛应用但其在有限样本设置下的性能尚不清晰。
• 在一致范数下建立RFF的最优收敛速率，解决先前研究中缺乏紧致有限样本边界的不足。
• 将分析扩展至一致范数之外，提供 $ L^r $ 范数下的逼近保证（$ 1 \leq r < \infty $），这些范数在学习算法泛化中更具相关性。
• 为使用RFF逼近核函数导数建立理论框架，并提供显式的误差边界。
• 证明只要紧集的直径增长速度慢于 $ e^{o(m)} $，RFF逼近误差的几乎必然收敛即可实现。

提出的方法

• 利用博赫纳定理，通过经验逼近核函数谱测度的傅里叶积分，显式构造RFF映射。
• 使用麦克迪阿米尔不等式，推导RFF逼近误差在一致范数下的高概率集中边界。
• 应用伯恩斯坦不等式控制经验特征函数的尾部行为，从而实现有限样本分析。
• 提出一种新方法，通过将 $ L^r $ 范数的逼近误差与 $ L^{ ilde{r}} $ 的对偶空间关联，利用紧集上博雷尔 $\sigma$-代数的可分性来界定误差。
• 通过分析特征映射及其期望的导数，推导出RFF对核函数导数逼近的误差边界。
• 结合经验过程理论与特征函数理论，建立最优速率，包括精确的 $ m^{-1/2} $ 速率。

实验结果

研究问题

• RQ1 在紧集上，RFF在一致范数下的最优有限样本收敛速率是什么？
• RQ2 与先前工作相比，能否为RFF逼近误差建立更紧致、最优的有限样本边界？
• RQ3 RFF在 $ L^r $ 范数下的逼近误差保证是什么？与一致范数边界相比有何差异？
• RQ4 RFF在多大程度上能逼近平移不变核函数的导数？存在哪些理论误差边界？
• RQ5 在何种域尺寸条件下，RFF逼近误差的几乎必然收敛成立？

主要发现

• 本文建立了RFF在一致范数下逼近误差的最优收敛速率 $ m^{-1/2} $，与经验特征函数理论给出的理论下界一致。
• 为任意 $ m $ 提供了高概率下一致误差 $ A_m $ 的有限样本概率边界，并保证只要紧集 $ \mathscr{S} $ 的直径增长速度慢于 $ e^{o(m)} $，即实现几乎必然收敛。
• 作者推导出 $ 1 \leq r < \infty $ 下的 $ L^r $ 范数逼近保证，表明RFF逼近误差在这些范数下同样以最优速率 $ m^{-1/2} $ 衰减。
• 对于核函数导数，本文提供了基于RFF的导数估计器逼近误差的理论边界，表明该误差同样以最优的 $ m^{-1/2} $ 速率衰减。
• 分析证实，RFF方法在多种函数空间范数下均实现了最优逼近质量，验证了其在可扩展核方法中的适用性。
• 结果通过证明RFF在一致范数和 $ L^r $ 范数下均实现了可能的最佳收敛速率，解决了长期存在的理论空白，即使在有限样本设置下也成立。