[论文解读] Active Learning of Linear Embeddings for Gaussian Processes

Roman Garnett, Michael A. Osborne+1 more|arXiv (Cornell University)|Oct 24, 2013

Gaussian Processes and Bayesian Inference参考文献 29被引用 30

一句话总结

本论文提出了一种主动学习方法，用于在高维空间中同时发现低维线性嵌入并执行高斯过程回归。通过结合拉普拉斯近似以估计嵌入不确定性，并采用一种新颖的高斯过程超参数近似边缘化方法，该方法在高达318维的合成数据集和真实世界数据集上均实现了鲁棒、数据高效的训练，且预测性能更优。

ABSTRACT

We propose an active learning method for discovering low-dimensional structure in high-dimensional Gaussian process (GP) tasks. Such problems are increasingly frequent and important, but have hitherto presented severe practical difficulties. We further introduce a novel technique for approximately marginalizing GP hyperparameters, yielding marginal predictions robust to hyperparameter mis-specification. Our method offers an efficient means of performing GP regression, quadrature, or Bayesian optimization in high-dimensional spaces.

研究动机与目标

• 解决在标准方法变得不可行的高维输入空间中执行高斯过程回归的挑战。
• 开发一种主动学习框架，联合学习函数及其潜在的低维线性嵌入。
• 通过高斯过程超参数的近似边缘化，提升对超参数误设的鲁棒性。
• 通过发现相关低维结构，实现高维任务中的高效贝叶斯优化、回归与积分。
• 提供一种可扩展、原理严谨的方法，用于识别能同时降低嵌入与函数不确定性的重要评估点。

提出的方法

• 使用拉普拉斯近似估计线性嵌入矩阵 R 的后验分布，量化嵌入中的不确定性。
• 提出一种新颖的高斯过程超参数（包括 R）近似边缘化技术，即使在超参数误设的情况下也能实现鲁棒预测。
• 采用主动选择策略，通过效用优化最大化对嵌入 R 不确定性的预期减少。
• 将 R 的近似后验与边缘化后的高斯过程后验相结合，以指导信息性输入点 x* 的选择。
• 在每次迭代中使用 L-BFGS 优化并结合多次重启，以找到 R 的对数后验众数。
• 对 R 使用扩散的、非信息性的先验（i.i.d. 零均值高斯分布），以避免对嵌入发现过程造成偏差。

实验结果

研究问题

• RQ1 能否有效将主动学习扩展至同时发现高维输入空间中的低维线性嵌入并执行高斯过程回归？
• RQ2 如何对高斯过程模型中的超参数进行近似边缘化，以提升对嵌入与核参数误设的鲁棒性？
• RQ3 基于嵌入不确定性的主动选择是否能在高维任务中实现比被动采样或随机采样更快的收敛速度与更优的预测性能？
• RQ4 所提出的方法是否能在保持准确率与不确定性校准的前提下，扩展至真实世界的高维问题？
• RQ5 在预测准确率与数据效率方面，该主动嵌入发现方法相较于 Lasso 或 Dantzig 选择等被动方法表现如何？

主要发现

• 所提出的主动学习方法在除一个数据集外的所有测试数据集上均实现了最低的均方根误差（RMSE）与负对数似然，涵盖合成数据、Branin 问题以及社区与犯罪、CT 切片等真实世界问题。
• 在 20D/3D 合成问题中，该方法实现了 0.617 的 RMSE 与 0.888 的对数似然，优于所有基线方法。
• 在真实世界的温度数据集（106D）中，该方法实现了 0.328 的 RMSE 与 0.318 的对数似然，显著优于竞争方法。
• 在 CT 切片数据集（318D）中，该方法实现了 0.767 的 RMSE 与 1.16 的对数似然，证明了其在高维真实世界数据上的可扩展性。
• 在所有基准测试中，该方法在预测准确率与不确定性校准方面均持续优于基于不确定性的（UCB）与基于 BALD 的主动学习基线方法。
• 近似边缘化技术显著提升了对超参数误设的鲁棒性，表现为在不同超参数设置下性能稳定。