[论文解读] Bayesian Optimization with Dimension Scheduling: Application to Biological Systems

Doniyor Ulmasov, Caroline Baroukh+3 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 6

一句话总结

本文提出维度调度算法（DSA），一种贝叶斯优化方法，通过在每次迭代中仅优化维度子集来加速收敛，从而降低计算成本。在模拟速度快且数量多的高维生物模型参数估计中，DSA相较于传统贝叶斯优化（BO）实现了更快的收敛速度和更低的目标值。

ABSTRACT

Bayesian Optimization (BO) is a data-efficient method for global black-box optimization of an expensive-to-evaluate fitness function. BO typically assumes that computation cost of BO is cheap, but experiments are time consuming or costly. In practice, this allows us to optimize ten or fewer critical parameters in up to 1,000 experiments. But experiments may be less expensive than BO methods assume: In some simulation models, we may be able to conduct multiple thousands of experiments in a few hours, and the computational burden of BO is no longer negligible compared to experimentation time. To address this challenge we introduce a new Dimension Scheduling Algorithm (DSA), which reduces the computational burden of BO for many experiments. The key idea is that DSA optimizes the fitness function only along a small set of dimensions at each iteration. This DSA strategy (1) reduces the necessary computation time, (2) finds good solutions faster than the traditional BO method, and (3) can be parallelized straightforwardly. We evaluate the DSA in the context of optimizing parameters of dynamic models of microalgae metabolism and show faster convergence than traditional BO.

研究动机与目标

• 解决传统贝叶斯优化（BO）在实验评估速度快但BO计算成本高的情况下的低效问题，特别是在高维参数空间中。
• 克服高斯过程（GP）推理在BO中呈现的立方级缩放问题，该问题限制了其在约1,000次实验和10个参数以内的可扩展性。
• 实现在动态生物模型（如微藻代谢）中的高效参数估计，这些模型的模拟速度快但需要数千次评估。
• 开发一种可扩展、可并行化的BO框架，在显著降低每次迭代计算负载的同时保持模型精度。
• 在传统BO因数据规模和维度而计算上不可行的参数估计任务中，提升收敛速度和解的质量。

提出的方法

• 提出一种维度调度算法（DSA），在每次BO迭代中基于反映参数重要性的概率分布，动态选择一个较小的维度子集。
• 将完整数据集分解到多个高斯过程（GP）中，每个GP在其对应的维度子集及其观测值上进行训练，从而减少每个GP的数据量和计算成本。
• 仅在每次迭代中对选定的维度子集优化采集函数，显著缩短GP预测和优化所需时间。
• 使用一个管理器进程协调多个工作进程，每个工作进程维护一个GP并求解其分配维度子集的采集函数，从而实现简单的并行化。
• 将训练数据分布在各GP之间，使每个GP处理一个较小且频繁更新的完整数据子集，从而最小化每个GP的观测数，提升可扩展性。
• 应用边际似然来剔除不相关的GP，降低模型复杂度，提升效率而不损失解的质量。

实验结果

研究问题

• RQ1 贝叶斯优化能否在传统BO因计算成本过高而不可行的高维、快速评估的模拟模型中实现可扩展性？
• RQ2 在每次迭代中仅优化维度子集，是否能提升动态生物系统参数估计的收敛速度和解的质量？
• RQ3 在包含数千次模拟的高维生物模型中，DSA的计算开销与传统BO相比如何？
• RQ4 DSA在多大程度上可实现并行化？这种并行化是否带来可测量的优化时间性能提升？
• RQ5 在GP中仅使用部分数据，其与优化过程的精度和收敛性之间的权衡如何？

主要发现

• 如图3所示，DSA将每次实验的平均计算时间减少至传统BO的约五分之一，原因在于更小的GP训练集和每次迭代更低的维度。
• 在大多数情况下，DSA实现的最优目标值低于传统BO，如图2所示，尤其在早期迭代中收敛更快。
• 通过频繁重新评估不同的维度子集，DSA提高了收敛频率，实现了对搜索空间更动态的探索。
• 该方法使在传统BO因计算扩展性问题而失效的高维微藻代谢模型中实现高效参数估计成为可能。
• DSA通过将GP和采集函数优化分布在多个进程之间，实现了简便的并行化，且仅需极少的架构改动。
• 尽管具有诸多优势，当维度数量增加时，DSA由于多个GP之间的数据稀疏性，偶尔会出现性能低于传统BO的情况。