[论文解读] Gaussian Process Optimization with Mutual Information

Emile Contal, Vianney Perchet+1 more|arXiv (Cornell University)|Nov 19, 2013

Advanced Bandit Algorithms Research参考文献 36被引用 48

一句话总结

该论文提出了一种新颖的高斯过程优化算法 GP-MI，利用互信息来改善探索-利用平衡，实现了累积遗憾的上界为 $\mathcal{O}(\sqrt{\log T^{d+1}})$，相较于 GP-UCB 的 $\mathcal{O}(\sqrt{T(\log T)^{d+1}})$ 实现了指数级改进。尽管原始证明中存在理论缺陷，但实验结果证实，GP-MI 在合成任务和真实世界任务中均优于 GP-UCB 和期望改进方法。

ABSTRACT

In this paper, we analyze a generic algorithm scheme for sequential global optimization using Gaussian processes. The upper bounds we derive on the cumulative regret for this generic algorithm improve by an exponential factor the previously known bounds for algorithms like GP-UCB. We also introduce the novel Gaussian Process Mutual Information algorithm (GP-MI), which significantly improves further these upper bounds for the cumulative regret. We confirm the efficiency of this algorithm on synthetic and real tasks against the natural competitor, GP-UCB, and also the Expected Improvement heuristic.

研究动机与目标

• 开发一种通用的高斯过程序列全局优化算法框架，具备改进的理论遗憾上界。
• 提出一种新颖的算法 GP-MI，通过利用互信息指导采样，增强探索-利用权衡。
• 推导出相较于 GP-UCB 和期望改进等现有方法更紧致的累积遗憾上界。
• 在具有多个局部最优解的复杂合成与真实世界优化任务上，实证验证 GP-MI 的性能。
• 解决原始证明中引理 1 的理论缺陷，该缺陷在存在噪声观测时使主定理失效；通过要求观测瞬时遗憾而非噪声函数值来修正该问题。

提出的方法

• GP-MI 算法通过最大化未知函数与候选观测之间的互信息来选择下一个查询点，从而促进信息丰富的采样。
• 该算法基于观测数据使用后验均值和方差更新，其采集函数定义为 $\alpha_{\text{MI}}(x) = \mathrm{I}(f; y_x \mid \mathbf{Y}_{t-1})$，其中 $\mathrm{I}$ 表示互信息。
• 理论分析基于一种改进的鞅框架，使用自然滤波 $\mathcal{F}_t = \{r_1, \dots, r_t\}$，其中 $r_t = f(x^*) - f(x_t)$，以修正原始证明中的缺陷。
• 累积遗憾上界是在算法观测瞬时遗憾 $r_t$ 而非噪声函数值 $y_t$ 的假设下推导得出，这是理论保证成立的必要条件。
• 通过懒惰方差更新实现算法实现以降低计算成本，对于大规模问题可采用 EP 或 MCMC 等近似方法。
• 置信参数 $\alpha = \log(2/\delta)$ 用于控制探索与利用之间的权衡，且实验验证其对 $\delta$ 具有鲁棒性。

实验结果

研究问题

• RQ1 能否利用函数值与观测之间的互信息来设计更高效的贝叶斯优化采集函数？
• RQ2 对于通用的基于 GP 的优化算法，其累积遗憾的理论上限是什么？与 GP-UCB 等现有方法相比如何？
• RQ3 GP-MI 算法是否实现了比 GP-UCB 更优的可证明遗憾上界？若是，改进幅度如何？
• RQ4 在高维、噪声大且具有多峰特性的优化问题中，GP-MI 算法相较于 GP-UCB 和期望改进方法的实证表现如何？
• RQ5 引理 1 中的理论缺陷有何影响？通过改用观测瞬时遗憾而非噪声观测，对算法性能和理论保证有何影响？

主要发现

• 在修正后的理论框架下，GP-MI 算法实现了 $\mathcal{O}(\sqrt{\log T^{d+1}})$ 的累积遗憾上界，相较于 GP-UCB 的 $\mathcal{O}(\sqrt{T(\log T)^{d+1}})$ 实现了指数级改进。
• 原始引理 1 的证明被发现无效，因为 $M_T$ 不可测于 $\mathbf{Y}_T$，导致在存在噪声观测时主定理失效。
• 仅当算法观测瞬时遗憾 $r_t = f(x^*) - f(x_t)$ 而非噪声函数值 $y_t = f(x_t) + \epsilon_t$ 时，理论保证才能恢复。
• 实验结果表明，GP-MI 在具有多个局部最优解的困难任务（如 Himmelblau、Mackey-Glass 和海啸浪涌问题）中显著优于 GP-UCB 和期望改进方法。
• GP-MI 算法在高维输入空间中表现出鲁棒性，在 $d=2$、$d=4$ 和 $d=6$ 的测试案例中均保持一致的性能表现。
• 实验显示，置信参数 $\delta$ 的选择对性能影响极小，因为不同 $\alpha = \log(2/\delta)$ 的实验结果表明其具有强鲁棒性。