[论文解读] A warped kernel improving robustness in Bayesian optimization via random embeddings

Mickaël Binois, David Ginsbourger+1 more|arXiv (Cornell University)|Nov 13, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 8被引用 5

一句话总结

该论文为随机嵌入贝叶斯优化（REMBO）提出了一种变形核 $k_{\Psi}$，通过变换嵌入点以减少冗余和维度问题，从而提升鲁棒性。通过将投影到超立方体边界上的点重新映射回嵌入子空间，该方法在保持低维核特性的同时避免了冗余评估，在内在维度为6的25维测试问题中优于 $k_{\mathcal{Y}}$ 和 $k_{\mathcal{X}}$。

ABSTRACT

This works extends the Random Embedding Bayesian Optimization approach by integrating a warping of the high dimensional subspace within the covariance kernel. The proposed warping, that relies on elementary geometric considerations, allows mitigating the drawbacks of the high extrinsic dimensionality while avoiding the algorithm to evaluate points giving redundant information. It also alleviates constraints on bound selection for the embedded domain, thus improving the robustness, as illustrated with a test case with 25 variables and intrinsic dimension 6.

研究动机与目标

• 解决现有REMBO核在高维、低内在维度问题中的鲁棒性局限。
• 减少由超立方体域中非单射凸投影引起的冗余评估。
• 在允许更大嵌入域的同时保持低维核效率。
• 通过减轻 $k_{\mathcal{Y}}$ 中的伪影和 $k_{\mathcal{X}}$ 中的维度问题，利用单个随机嵌入提升优化性能。
• 在不牺牲收敛性的前提下，实现对低维嵌入空间 $\mathcal{Y}$ 更安全、更大的域选择。

提出的方法

• 提出一种变形函数 $\Psi(\mathbf{y})$，将点 $\mathbf{y} \in \mathcal{Y}$ 映射到嵌入子空间 $\operatorname{Ran}(\mathbf{A})$，映射前先对 $[-1,1]^D$ 进行凸投影。
• 对于位于 $\mathcal{X}$ 外的点，$\Psi$ 将其凸投影结果反向投影到 $\operatorname{Ran}(\mathbf{A})$，并沿从原点到边界交点的射线方向拉伸。
• 定义一个新的核 $k_{\Psi}(\mathbf{y}, \mathbf{y}') = \exp\left( -\| \Psi(\mathbf{y}) - \Psi(\mathbf{y}') \|_D^2 / (2l^2) \right)$，该核作用于变形后的点。
• 实验中使用各向同性马尔可夫5/2核，并通过最大似然法估计超参数。
• 对初始设计应用 $\Psi$，以确保 $\mathcal{X}$ 中的多样性，避免 $k_{\Psi}$ 在 $\mathcal{X}$ 中出现重复点。
• 在 $k_{\mathcal{Y}}$、$k_{\mathcal{X}}$ 和 $k_{\Psi}$ 之间采用一致的评估预算和期望改进最大化策略，以实现公平比较。

实验结果

研究问题

• RQ1 对嵌入点进行几何变形是否能提升REMBO在高维、低内在维度问题中的鲁棒性？
• RQ2 所提出的 $k_{\Psi}$ 核是否能减少由 $\mathcal{X}$ 中非单射投影引起的冗余评估？
• RQ3 在使用 $k_{\Psi}$ 时，是否可以安全地扩大嵌入域 $\mathcal{Y}$ 而不降低性能？
• RQ4 $k_{\Psi}$ 与 $k_{\mathcal{Y}}$ 和 $k_{\mathcal{X}}$ 相比，在收敛速度和最优性差距方面表现如何？
• RQ5 该变形机制是否在避免高维伪影的同时保持了低维核效率？

主要发现

• 在 $D=25$、$d=6$ 且评估次数为250次的Hartmann6测试函数中，所提出的 $k_{\Psi}$ 核优于 $k_{\mathcal{Y}}$ 和 $k_{\mathcal{X}}$。
• $k_{\mathcal{Y}}$ 核由于非单射投影，在 $\mathcal{Y}$ 的侧面上出现重复评估，浪费了优化预算。
• $k_{\mathcal{X}}$ 核倾向于在 $\mathcal{X}$ 的面和棱上探索冗余点，导致最优性差距增大。
• $k_{\Psi}$ 核通过在嵌入子空间中保持低维且单射的表示，同时避免了上述两种缺陷。
• 当 $\mathcal{Y} = [-\sqrt{d}, \sqrt{d}]^d$ 时，$k_{\Psi}$ 的中位最优性差距显著低于两种基线方法。
• 该变形机制使得在不降低性能的前提下可采用更大的 $\mathcal{Y}$ 域，从而提升了对嵌入域选择的鲁棒性。