[论文解读] Bayesian Optimization in a Billion Dimensions via Random Embeddings

Ziyu Wang, Frank Hutter+3 more|arXiv (Cornell University)|Jan 9, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 54被引用 15

一句话总结

本文提出随机嵌入贝叶斯优化（REMBO），通过随机嵌入将问题投影到低维子空间，实现了在极高维空间（高达十亿维）中的贝叶斯优化。该方法对坐标和旋转变换保持不变性，在47个参数的混合整数规划求解器上达到最先进性能，即使在仅使用三个嵌入维度时也表现出色，尤其当内在维度较低时。

ABSTRACT

Bayesian optimization techniques have been successfully applied to robotics, planning, sensor placement, recommendation, advertising, intelligent user interfaces and automatic algorithm configuration. Despite these successes, the approach is restricted to problems of moderate dimension, and several workshops on Bayesian optimization have identified its scaling to high-dimensions as one of the holy grails of the field. In this paper, we introduce a novel random embedding idea to attack this problem. The resulting Random EMbedding Bayesian Optimization (REMBO) algorithm is very simple, has important invariance properties, and applies to domains with both categorical and continuous variables. We present a thorough theoretical analysis of REMBO. Empirical results confirm that REMBO can effectively solve problems with billions of dimensions, provided the intrinsic dimensionality is low. They also show that REMBO achieves state-of-the-art performance in optimizing the 47 discrete parameters of a popular mixed integer linear programming solver.

研究动机与目标

• 解决贝叶斯优化在高维问题中的可扩展性限制，传统方法在超过约10维时即失效。
• 在连续与分类变量共存的领域中实现高效优化，即使外在维度D极大（例如高达十亿）。
• 开发一种对坐标和旋转变换保持不变的方法，确保在不同参数化下的鲁棒性。
• 通过实证验证，当内在维度较低时，可在高外在维度空间中实现有效优化。
• 在真实世界、高维黑箱优化问题（如配置混合整数规划求解器）中展示最先进性能。

提出的方法

• 该方法使用随机投影矩阵将高维输入空间 ℝᴰ 投影到低维子空间 ℝᵈ，其中 d ≪ D。
• 在嵌入空间中使用高斯过程先验和标准获取函数执行贝叶斯优化。
• 当内在维度 de 较低时，随机嵌入能保持目标函数的结构，确保全局最优解不丢失。
• 该算法具有坐标不变性，因为随机投影矩阵来自在正交变换下不变的概率分布。
• 该方法具有旋转不变性，因为随机矩阵来自在输入空间旋转下不变的概率分布。
• 该方法对标准贝叶斯优化的修改极少：仅需在评估前将输入预先乘以一个随机矩阵。

实验结果

研究问题

• RQ1 贝叶斯优化能否有效扩展到外在维度 D 达十亿的问题？
• RQ2 当内在维度 de 远小于 D 时，贝叶斯优化的性能是否会显著下降？
• RQ3 所提出的 REMBO 算法是否对输入空间的坐标和旋转变换保持不变？
• RQ4 REMBO 能否在具有混合连续与分类变量的真实世界、高维黑箱优化问题中实现最先进性能？
• RQ5 当外在维度适中但内在维度较低时，REMBO 的性能与标准贝叶斯优化和随机搜索相比如何？

主要发现

• REMBO 成功优化了嵌入在十亿维空间中的函数，证明当内在维度较低时，高维问题可被有效求解。
• 在优化一个流行混合整数线性规划求解器的47个离散参数时，REMBO 达到最先进性能，优于随机搜索，并与采用交错运行的标准贝叶斯优化表现相当。
• 即使仅使用 d=3 个嵌入维度，REMBO 也实现了具有竞争力的性能，表明低维嵌入可捕捉高维问题中的关键结构。
• 实证结果证实，REMBO 对坐标和旋转变换具有不变性，与理论预测一致。
• 在随机森林分类器的14维参数空间中，当使用 k=4 次交错运行时，REMBO 的表现几乎与标准贝叶斯优化相当，尽管其在低维子空间中运行。
• 结果表明，许多真实世界的优化问题具有较低的内在维度，使 REMBO 成为高维黑箱优化的一种可行且稳健的方法。