[论文解读] Bayesian Nonparametric Kernel-Learning

Junier B. Oliva, Avinava Dubey+4 more|arXiv (Cornell University)|Jun 29, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用 12

一句话总结

本文提出贝叶斯非参数核学习（BaNK），一种可扩展的、数据驱动的框架，通过在随机频率的谱分布上放置非参数先验来学习核函数。通过将随机特征与基于狄利克雷过程混合的贝叶斯非参数推断相结合，BaNK 实现了高效且可解释的核学习，在大规模回归与分类任务中优于现有可扩展方法。

ABSTRACT

Kernel methods are ubiquitous tools in machine learning. However, there is often little reason for the common practice of selecting a kernel a priori. Even if a universal approximating kernel is selected, the quality of the finite sample estimator may be greatly affected by the choice of kernel. Furthermore, when directly applying kernel methods, one typically needs to compute a $N imes N$ Gram matrix of pairwise kernel evaluations to work with a dataset of $N$ instances. The computation of this Gram matrix precludes the direct application of kernel methods on large datasets, and makes kernel learning especially difficult. In this paper we introduce Bayesian nonparmetric kernel-learning (BaNK), a generic, data-driven framework for scalable learning of kernels. BaNK places a nonparametric prior on the spectral distribution of random frequencies allowing it to both learn kernels and scale to large datasets. We show that this framework can be used for large scale regression and classification tasks. Furthermore, we show that BaNK outperforms several other scalable approaches for kernel learning on a variety of real world datasets.

研究动机与目标

• 为核方法中缺乏原则性、数据驱动的核选择问题提供解决方案，此类方法常受限于启发式或固定的核选择。
• 克服核方法在大规模数据集上的计算瓶颈，因其需对 $N \times N$ 格拉姆矩阵进行计算，时间复杂度达 $O(N^3)$。
• 开发一种可扩展框架，无需事先限制核族，即可学习灵活且可解释的核函数。
• 利用随机特征与非参数先验，实现对广泛类别的平稳核函数的高效推断。
• 提供核函数的后验分布，支持不确定性量化，并避免贪婪优化方法带来的不可解释性。

提出的方法

• 使用狄利克雷过程先验的高斯混合模型表示平稳核的谱密度，实现对丰富核族的非参数学习。
• 利用随机傅里叶特征，通过从谱密度中进行马尔可夫链蒙特卡洛采样来近似核函数评估，将复杂度从 $O(N^2)$ 降低至 $O(NM)$（$M$ 为随机特征数量）。
• 采用生成模型，将谱分布 $\mathcal{D}$ 视为隐变量，其似然由回归与分类任务中的数据生成过程定义。
• 应用 Metropolis-Hastings MCMC 采样从谱混合成分的后验分布中抽样，确保核估计的可解释性与良好校准性。
• 将随机特征近似集成至回归与分类模型中，通过吉布斯采样对混合成分与频率进行推断。
• 利用博赫纳定理所揭示的谱测度与核函数之间的对偶性，使框架能够通过谱域学习核函数。

实验结果

研究问题

• RQ1 贝叶斯非参数框架能否在不预先固定核族的前提下，以数据驱动、可扩展的方式学习核函数？
• RQ2 如何将随机特征与非参数先验结合，实现在大规模数据集上的高效且可解释的核学习？
• RQ3 学习随机特征的谱分布是否能带来相较于固定或优化核选择的更好泛化性能？
• RQ4 随机特征数量 $M$ 在多大程度上影响核学习过程的准确率与运行时间？
• RQ5 谱混合的后验分布能否提供有意义的不确定性量化，并优于非贝叶斯、基于优化的核学习方法？

主要发现

• BaNK 在多种真实世界回归与分类数据集上优于若干可扩展核学习方法，包括 RKS、MKL、AlaC 和 RFO。
• 随着随机特征数量 $M$ 增加，性能持续提升，但当 $M > 384$ 后收益递减，表明核近似质量已趋于收敛。
• 运行时间在回归任务中随 $M$ 呈二次方增长（$O(NM^2)$），在分类任务中呈线性增长（$O(MNd)$），与理论复杂度边界一致。
• BaNK 的运行时间与 AlaC、RFO 等其他自适应方法相当，且在大规模数据集上仍具可行性，展现出良好的可扩展性。
• 通过从合理后验分布中进行 MCMC 采样，确保了学习到的核函数具有可解释性与渐近一致性，优于非凸优化方法。
• 框架能有效利用更多数据学习更优核函数，表现为在更大数据集上随 $M$ 增加而性能提升。