[论文解读] Bayesian Design of Experiments Using Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods|arXiv (Cornell University)|Jan 1, 2015

Optimal Experimental Design Methods被引用 5

一句话总结

本文提出了一种近似坐标交换（ACE）算法，通过使用高斯过程代理模型近似高维期望效用函数，实现了复杂非线性模型的计算高效贝叶斯实验设计。该方法在无需渐近近似的情况下，实现了高维空间中的最优设计，使此前难以处理的问题（如药代动力学模型和离散混合模型设计）成为可能。

ABSTRACT

The construction of decision-theoretic Bayesian designs for realistically-complex nonlinear models is computationally challenging, as it requires the optimization of analytically intractable expected utility functions over high-dimensional design spaces. We provide the most general solution to date for this problem through a novel approximate coordinate exchange algorithm. This methodology uses a Gaussian process emulator to approximate the expected utility as a function of a single design coordinate in a series of conditional optimization steps. It has flexibility to address problems for any choice of utility function and for a wide range of statistical models with different numbers of variables, numbers of runs and randomization restrictions. In contrast to existing approaches to Bayesian design, the method can find multi-variable designs in large numbers of runs without resorting to asymptotic approximations to the posterior distribution or expected utility. The methodology is demonstrated on a variety of challenging examples of practical importance, including design for pharmacokinetic models and design for mixed models with discrete data. For many of these models, Bayesian designs are not currently available. Comparisons are made to results from the literature, and to designs obtained from asymptotic approximations.

研究动机与目标

• 解决在高维设计空间中为现实复杂非线性模型构建决策理论贝叶斯设计所面临的计算挑战。
• 克服在多变量设计中因期望效用优化而产生的维度灾难问题，该问题限制了现有基于模拟的方法。
• 开发一种可扩展的、通用的贝叶斯设计方法，不依赖于后验分布或效用函数的渐近近似。
• 使原本在完整贝叶斯决策理论下难以处理的模型（如药代动力学模型和离散混合模型）能够构建最优设计。
• 提供一个灵活的框架，适用于广泛的统计模型、效用函数和设计约束。

提出的方法

• ACE算法使用一系列一维高斯过程代理模型，近似作为单个设计坐标（在其余所有坐标固定时）的期望效用函数。
• 应用连续版本的坐标交换算法，按顺序迭代优化每个设计坐标，将高维问题转化为一系列低维优化问题。
• 通过在模型参数先验抽样和模拟数据上进行蒙特卡洛模拟来近似期望效用，并考虑使用对称变量等方差减少技术以提高效率。
• 通过固定除一个设计坐标外的所有坐标，避免了对全高维代理模型的需求，从而缓解了维度灾难问题。
• 该算法已实现在R包中，支持任意数量的变量、试验次数和随机化限制。
• 该方法结合了随机模拟与代理模型的确定性优化，即使在似然函数计算昂贵的情况下，也能收敛至近优设计。

实验结果

研究问题

• RQ1 能否为高维、非线性模型开发一种无需依赖渐近近似的可扩展贝叶斯设计方法？
• RQ2 在高维设计空间中，如何降低对分析上不可解的期望效用函数进行优化的计算负担？
• RQ3 一维条件代理模型能否有效指导复杂模型中多变量设计的优化？
• RQ4 ACE算法在真实世界问题中与渐近近似方法及现有基于模拟的方法相比表现如何？
• RQ5 ACE框架能否扩展至似然函数难以处理的模型（如由微分方程数值求解器定义的模型）？

主要发现

• ACE算法成功识别了LD50估计的药代动力学模型的贝叶斯最优设计，使LD50参数的后验方差达到$2.10 \times 10^{-5}$。
• 对于$n_0 = 1$和$n_0 = 2$次试验，ACE算法选择的方案最小化了负的期望后验方差，优于均匀随机设计。
• 该方法找到了剂量集中（如在1.77处设置四次重复）的设计，显著降低了期望方差，表现出对先验不确定性的鲁棒性。
• ACE算法在无需渐近近似的情况下实现了收敛和最优性能，即使在具有离散数据和复杂随机化约束的模型中亦然。
• 在较小问题上，该算法表现优于或匹配现有方法，同时使此前难以处理的问题（如具有离散响应的混合模型的多变量设计）成为可能。
• 初步运行和结构分析表明，重新参数化可能通过减少设计坐标之间的依赖性进一步提升收敛性。