[论文解读] Data-driven Random Fourier Features using Stein Effect

Wei-Cheng Chang, Chunliang Li+2 more|arXiv (Cornell University)|May 23, 2017

Gaussian Processes and Bayesian Inference参考文献 23被引用 3

一句话总结

该论文提出了一种基于 Stein 效应的数据驱动随机傅里叶特征加权方法，以减少核近似误差。通过使用最小化经验风险的收缩估计器学习非均匀权重，该方法在六个基准数据集上的核近似和监督学习任务中均优于均匀加权的 MC 和 QMC 基线方法。

ABSTRACT

Large-scale kernel approximation is an important problem in machine learning research. Approaches using random Fourier features have become increasingly popular [Rahimi and Recht, 2007], where kernel approximation is treated as empirical mean estimation via Monte Carlo (MC) or Quasi-Monte Carlo (QMC) integration [Yang et al., 2014]. A limitation of the current approaches is that all the features receive an equal weight summing to 1. In this paper, we propose a novel shrinkage estimator from "Stein effect", which provides a data-driven weighting strategy for random features and enjoys theoretical justifications in terms of lowering the empirical risk. We further present an efficient randomized algorithm for large-scale applications of the proposed method. Our empirical results on six benchmark data sets demonstrate the advantageous performance of this approach over representative baselines in both kernel approximation and supervised learning tasks.

研究动机与目标

• 解决随机傅里叶特征在核近似中均匀加权的次优性问题。
• 开发一种无需标签信息即可在核近似中减少经验风险的数据驱动加权策略。
• 通过 Stein 效应提供理论依据，证明其估计优于经验均值估计器。
• 设计一种适用于大规模应用的高效随机化算法。
• 在核近似和监督学习任务中，一致地展示优于 MC、QMC 和贝叶斯积分基线方法的性能提升。

提出的方法

• 利用 Stein 效应推导出一种收缩估计器，用于学习随机傅里叶特征的非均匀权重。
• 将核近似建模为凸优化问题，以最小化使用数据驱动权重的经验风险。
• 引入一种基于随机 Sketching 的求解器，仅需采样 O(M) 个数据点即可近似最优权重向量，确保可扩展性。
• 将贝叶斯积分 (BQ) 扩展至核近似作为基线，但通过采用数据驱动方法避免其对超参数调优的敏感性。
• 使用蒙特卡洛 (MC) 和准蒙特卡洛 (QMC) 方法作为均匀加权基线进行对比。
• 通过 Bochner 定理将所提方法应用于平移不变核，实现高效的特征生成与权重学习。

实验结果

研究问题

• RQ1 与均匀加权相比，数据驱动的随机傅里叶特征加权策略是否能降低核近似误差？
• RQ2 Stein 效应是否为核近似中学习最优特征权重提供了理论合理的框架？
• RQ3 在核近似和下游监督学习任务中，所提方法相较于 MC、QMC 和 BQ 基线的性能表现如何？
• RQ4 在大规模场景下，随机求解器的计算效率如何？收敛需要多少样本？
• RQ5 在不同数据集和特征数量下，非均匀特征权重与均匀权重相比，在降低经验风险方面表现如何？

主要发现

• 所提出的 Stein-Effect Shrinkage (SES) 估计器在六个基准数据集中一致地降低了核近似误差，优于均匀加权的 MC 和 QMC 方法。
• SES 在大多数监督学习任务（分类与回归）中表现优于或匹配最佳基线，证明了改进核近似在下游任务中的可迁移性。
• 随机求解器仅需采样 2–4 倍于随机特征数量 (M) 的数据点，即可实现稳定且准确的权重估计，验证了其理论可扩展性。
• 随着随机特征数量的增加（M 从 32 增至 512），SES 和 BQ 中学习到的权重分布趋于均匀，与偏差-方差权衡理论一致。
• SES 中的非均匀收缩权重显著降低了经验风险，证实了数据驱动自适应的优势。
• 贝叶斯积分 (BQ) 的性能在采样数据规模变化时表现不一致，且对超参数调优高度敏感，而所提方法则无此问题。