[论文解读] acebayes: An R Package for Bayesian Optimal Design of Experiments via Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods+1 more|arXiv (Cornell University)|May 23, 2017

Advanced Multi-Objective Optimization Algorithms被引用 10

一句话总结

该论文介绍了 R 包 acebayes，该包通过近似坐标交换（ACE）算法，实现了对复杂、高维问题的贝叶斯最优实验设计。通过结合高斯过程模拟与顺序一维优化，acebayes 高效地近似了难以计算的期望效用积分，使得此前不可行的大规模模型和数据集的实验设计成为可能，包括具有参数估计、模型选择和预测目标的广义线性模型与非线性模型。

ABSTRACT

We describe the R package acebayes and demonstrate its use to find Bayesian optimal experimental designs. A decision-theoretic approach is adopted, with the optimal design maximising an expected utility. Finding Bayesian optimal designs for realistic problems is challenging, as the expected utility is typically intractable and the design space may be high-dimensional. The package implements the approximate coordinate exchange algorithm to optimise (an approximation to) the expected utility via a sequence of conditional one-dimensional optimisation steps. At each step, a Gaussian process regression model is used to approximate, and subsequently optimise, the expected utility as the function of a single design coordinate (the value taken by one controllable variable for one run of the experiment). In addition to functions for bespoke design problems with user-defined utility functions, acebayes provides functions tailored to finding designs for common generalised linear and nonlinear models. The package provides a step-change in the complexity of problems that can be addressed, enabling designs to be found for much larger numbers of variables and runs than previously possible. We provide tutorials on the application of the methodology for four illustrative examples of varying complexity where designs are found for the goals of parameter estimation, model selection and prediction. These examples demonstrate previously unseen functionality of acebayes.

研究动机与目标

• 解决在期望效用积分解析不可解的高维实验设置下计算贝叶斯最优设计的挑战。
• 开发一种可扩展的计算框架，将可行实验设计问题的范围扩展至超越现有方法的领域。
• 提供一个用户友好的 R 包，支持自定义效用函数以及针对常见模型（如 GLMs 和非线性模型）的专用函数。
• 实现对复杂目标（如参数估计、模型选择和不确定性下的预测）的高效设计优化。
• 通过真实世界示例展示该方法的能力，包括高维和似然不可计算的模型。

提出的方法

• ACE 算法在设计坐标上执行顺序一维优化，每次仅更新一个变量，其余变量保持固定。
• 在每一步中，使用候选点的填充设计，通过高斯过程回归模型对单个设计坐标上的期望效用进行模拟。
• 该算法利用高斯过程模拟器的预测均值，识别当前坐标的最优值，从而逐步改进设计。
• 对于随机近似（如蒙特卡洛），新设计的接受基于贝叶斯假设检验；对于确定性近似（如高斯积分），接受基于效用提升。
• 第一阶段在多个循环中执行坐标更新；第二阶段通过增加和删除设计运行来增强探索能力，以摆脱局部最优。
• 该包支持用户自定义的效用函数以及针对常见统计模型的专用函数（如 paceglm、pacenlm）。

实验结果

研究问题

• RQ1 ACE 算法能否在全期望效用计算不可行的高维设计空间中，高效优化贝叶斯最优设计？
• RQ2 高斯过程模拟的使用如何提升贝叶斯设计优化的可扩展性与准确性？
• RQ3 acebayes 在处理具有不可计算似然的复杂模型（如非线性和常微分方程模型）方面的能力有多大？
• RQ4 该包能否在统一的决策理论框架下，同时实现对多个目标（参数估计、模型选择和预测）的设计？
• RQ5 在大规模问题中，acebayes 在设计质量与计算效率方面与现有方法相比表现如何？

主要发现

• acebayes 包使得对具有显著更多变量和实验运行数的实验问题实现贝叶斯最优设计成为可能，显著扩展了可行设计问题的范围。
• 结合高斯过程模拟的近似坐标交换算法为高维贝叶斯设计优化提供了可扩展且高效的解决方案，显著降低了计算负担。
• 该方法成功找到了四个示例（涉及参数估计、模型选择和预测）的最优设计，展示了此前未实现的功能。
• 该包支持复杂模型，包括常微分方程模型和不可计算似然模型，如在药物产品合成和动态系统中的应用所示。
• 该算法为启发式方法，可通过多次重启获益；该包包含支持并行执行和改善收敛性的工具（如 'pace' 函数）。
• 该包已在真实世界应用中得到使用，如高维设计与合成优化，证实了其在合成示例之外的实际效用。