[论文解读] Function Approximation via Sparse Random Features.

Abolfazl Hashemi, Hayden Schaeffer+4 more|arXiv (Cornell University)|Mar 4, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种稀疏随机特征方法，利用压缩感知技术，在所需测量次数少于标准随机特征的情况下学习简洁的模型，实现了对再生核希尔伯特空间中函数的改进近似误差界——尤其在坐标稀疏性或谱快速衰减等结构性条件下表现更优，且在科学机器学习任务中优于浅层网络。

ABSTRACT

Random feature methods have been successful in various machine learning tasks, are easy to compute, and come with theoretical accuracy bounds. They serve as an alternative approach to standard neural networks since they can represent similar function spaces without a costly training phase. However, for accuracy, random feature methods require more measurements than trainable parameters, limiting their use for data-scarce applications or problems in scientific machine learning. This paper introduces the sparse random feature method that learns parsimonious random feature models utilizing techniques from compressive sensing. We provide uniform bounds on the approximation error for functions in a reproducing kernel Hilbert space depending on the number of samples and the distribution of features. The error bounds improve with additional structural conditions, such as coordinate sparsity, compact clusters of the spectrum, or rapid spectral decay. We show that the sparse random feature method outperforms shallow networks for well-structured functions and applications to scientific machine learning tasks.

研究动机与目标

• 解决标准随机特征方法需要的测量次数超过可训练参数数量的问题，该问题限制了其在数据稀缺或科学机器学习应用中的使用。
• 开发一种稀疏随机特征框架，通过利用函数的结构性质（如坐标稀疏性或谱衰减）来学习紧凑模型。
• 提供依赖于样本数量和特征分布的统一近似误差界，且在如谱簇紧凑或快速衰减等结构性假设下进一步改善。
• 证明所提出方法在结构良好函数上优于浅层网络，尤其在科学机器学习任务中表现更优。

提出的方法

• 应用压缩感知技术学习稀疏随机特征模型，减少所需测量次数，同时保持近似精度。
• 将近似问题表述为由随机特征诱导的高维特征空间中的稀疏恢复任务。
• 为再生核希尔伯特空间中的函数推导统一误差界，表明其依赖于样本数量和特征分布。
• 引入结构性假设（如坐标稀疏性、紧凑谱簇或快速谱衰减）以收紧误差界。
• 使用从与核函数谱测度相关的分布中独立同分布采样的随机特征映射，随后通过压缩感知算法进行稀疏化。
• 优化特征选择过程，仅保留最具信息量的特征，以最小化冗余并提升泛化能力。

实验结果

研究问题

• RQ1 稀疏随机特征能否在测量次数更少的情况下实现优于标准随机特征的近似精度？
• RQ2 坐标稀疏性或谱衰减等结构性特性如何影响稀疏随机特征模型中的近似误差？
• RQ3 所提出方法在科学机器学习中对结构良好函数的性能优于浅层网络的程度如何？
• RQ4 在不同谱和分布假设下，能否为稀疏随机特征建立理论误差界？

主要发现

• 稀疏随机特征方法在再生核希尔伯特空间中实现了统一的近似误差界，且在坐标稀疏性或谱快速衰减等结构性条件下进一步改善。
• 该方法所需的测量次数少于标准随机特征，适用于数据稀缺的应用场景。
• 在谱簇紧凑或谱快速衰减条件下，误差界随样本数量和稀疏度水平呈有利缩放。
• 实验结果表明，稀疏随机特征模型在科学机器学习任务中优于浅层网络，尤其对具有内在结构的函数表现更优。
• 理论分析证实，近似误差依赖于样本数量和随机特征的分布，且在有利的谱条件下误差界更紧。