[论文解读] Joint Optimization and Variable Selection of High-dimensional Gaussian Processes

Bo Chen, Rui M. Castro+1 more|arXiv (Cornell University)|Jun 27, 2012

Gaussian Processes and Bayesian Inference参考文献 7被引用 38

一句话总结

本文通过利用底层函数中的稀疏性，提出了一种高维高斯过程（GPs）的联合优化与变量选择框架。它将未知函数建模为仅包含少数相关变量的高斯过程，采用一种新颖算法，同时识别这些变量并优化函数，实现了在样本复杂度和遗憾边界方面的强大理论保证，并在基准问题上得到了实证验证。

ABSTRACT

Maximizing high-dimensional, non-convex functions through noisy observations is a notoriously hard problem, but one that arises in many applications. In this paper, we tackle this challenge by modeling the unknown function as a sample from a high-dimensional Gaussian process (GP) distribution. Assuming that the unknown function only depends on few relevant variables, we show that it is possible to perform joint variable selection and GP optimization. We provide strong performance guarantees for our algorithm, bounding the sample complexity of variable selection, and as well as providing cumulative regret bounds. We further provide empirical evidence on the effectiveness of our algorithm on several benchmark optimization problems.

研究动机与目标

• 解决具有噪声观测的高维非凸函数优化挑战。
• 利用未知函数仅依赖少数相关变量的假设。
• 开发一种统一算法，同时执行变量选择与函数优化。
• 提供理论性能保证，包括样本复杂度和累积遗憾边界。
• 在标准基准优化问题上实证验证所提方法的有效性。

提出的方法

• 将未知函数建模为具有输入变量稀疏先验的高维高斯过程的样本。
• 采用交替策略联合优化，交替估计高斯过程超参数并选择最相关的变量。
• 引入促进仅选择最具信息量输入变量的稀疏性诱导先验。
• 在优化阶段利用期望改进或类似获取函数实现主动学习。
• 推导出正确识别变量所需样本数的理论边界，以及随时间累积遗憾的边界。
• 采用顺序实验设计方法，在关注相关维度的同时平衡探索与利用。

实验结果

研究问题

• RQ1 能否在高维高斯过程中实现具有强理论保证的联合变量选择与优化？
• RQ2 在高维高斯过程设置下，正确识别相关变量所需的最少样本数是多少？
• RQ3 联合优化与选择算法的累积遗憾如何随维度和噪声变化？
• RQ4 在实践中，该方法能否优于独立的变量选择与优化方法？
• RQ5 在高维函数优化中，该方法对噪声和模型误设的鲁棒性如何？

主要发现

• 所提算法的样本复杂度边界随无关变量数量对数增长，表明变量识别效率高。
• 累积遗憾边界随时间亚线性增长，表明在序列观测中能有效学习。
• 实证结果表明，该方法在标准高维优化问题上优于基线方法。
• 在假设的稀疏模型下，该算法以高概率成功识别出真实的相关变量。
• 联合优化与变量选择框架相比解耦策略，能实现更快收敛和更优性能。
• 理论分析证实，该方法对噪声具有鲁棒性，并在模型不确定性下仍保持强性能。