[论文解读] Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation

Henry B. Moss, Sebastian W. Ober+1 more|arXiv (Cornell University)|Jan 24, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出一种针对贝叶斯优化（BO）的诱导点分配（IPA）方法，利用质量-多样性分解的确定性点过程（DPPs），在搜索空间的有希望区域优先实现高保真建模。该方法通过将建模能力集中于高价值区域，在合成与真实世界高通量贝叶斯优化任务中，显著优于现有IPA策略，优化性能表现更优。

ABSTRACT

Sparse Gaussian Processes are a key component of high-throughput Bayesian Optimisation (BO) loops; however, we show that existing methods for allocating their inducing points severely hamper optimisation performance. By exploiting the quality-diversity decomposition of Determinantal Point Processes, we propose the first inducing point allocation strategy designed specifically for use in BO. Unlike existing methods which seek only to reduce global uncertainty in the objective function, our approach provides the local high-fidelity modelling of promising regions required for precise optimisation. More generally, we demonstrate that our proposed framework provides a flexible way to allocate modelling capacity in sparse models and so is suitable broad range of downstream sequential decision making tasks.

研究动机与目标

• 为解决现有诱导点分配（IPA）策略在高通量贝叶斯优化（BO）中表现不佳的问题，这些策略更注重全局回归精度而非有希望区域的局部保真度。
• 开发一种专为BO设计的新IPA框架，利用确定性点过程（DPPs）的质量-多样性分解，以平衡探索与利用。
• 证明针对BO的IPA可显著提升优化性能，通过将建模能力集中于预期改进高的区域。
• 提供一种通用且灵活的框架，用于稀疏模型中的建模资源分配，可广泛应用于各类序列决策任务。

提出的方法

• 该方法采用DPP的质量-多样性分解，其中质量函数引导分配向高价值区域（如有希望的最优解）集中，而多样性则确保对搜索空间的充分覆盖。
• 提出一种新颖的质量函数，基于候选点所支配的超体积（HV），称为HV-DPP，用于指导多目标BO中诱导点的放置。
• 在单目标BO中，该方法采用基于预期改进（EI）的质量函数，并将其适配至DPP框架，以促进在不确定性降低区域的高保真建模。
• 该方法与随机变分高斯过程（SVGP）兼容，仅需100个诱导点即可实现可扩展的高通量优化。
• 该框架支持对多个模型（如多目标BO中的目标函数与约束）分别进行IPA，通过共享质量函数协调各模型间的分配。
• 与标准SVGP不同，该方法无需输入空间为欧几里得空间，可应用于离散结构（如分子和基因）的建模。

Figure 1: A toy problem showing two sparse GP surrogate models, one with its inducing points chosen using an existing method (top) and the other using one of our proposed BO-specific methods (bottom) that focuses modelling resources into promising areas of the search space. Our model is better suite

实验结果

研究问题

• RQ1 现有的稀疏GP诱导点分配策略能否在高通量设置下有效支持高精度贝叶斯优化？
• RQ2 如何重构诱导点分配策略，使其优先关注有希望区域的局部高保真建模，而非全局回归精度？
• RQ3 能否利用质量-多样性分解的DPP构建一个灵活、专为BO优化的IPA框架，从而提升优化性能？
• RQ4 在高通量多目标优化任务中，仅使用100个诱导点的稀疏GP在多大程度上可达到精确GP的性能？

主要发现

• 所提出的HV-DPP IPA策略在4D ZDT3多目标基准测试中达到并超越了精确高斯过程的性能，在超体积支配方面优于所有基线方法。
• 在真实世界的汽车散热器设计任务中，仅使用100个诱导点的SVGP结合所提出的IPA，实现了与昂贵的精确GP相当的Pareto前沿。
• 与精确GP相比，该方法将优化开销降低了整整一个数量级，同时保持了高水平的优化性能。
• 从质量-多样性DPP框架衍生出的IMP-DPP变体，优于Burt等人（2019）提出的基于条件方差减少的IPA，在BO设置中此前表现不佳。
• 该框架实现了对离散结构（如分子和基因）的有效高通量BO，突破了传统欧几里得输入空间的限制。
• 基于超体积（HV）的质量函数能强烈偏向Pareto前沿的中心区域，且计算速度快，适用于大规模优化。

(a)