[论文解读] Likelihood-free Simulation-based Optimal Design

Markus Hainy, Werner G. Müller+1 more|arXiv (Cornell University)|May 18, 2013

Probabilistic and Robust Engineering Design参考文献 6被引用 8

一句话总结

本文提出了一种无需似然函数的基于模拟的最优设计框架，将近似贝叶斯计算（ABC）与马尔可夫链蒙特卡洛（MCMC）方法相结合，以解决似然函数难以解析计算但可从模型中进行模拟的实验设计问题。通过将ABC与Müller的基于MCMC的设计算法相结合，该方法在无需显式似然函数的情况下实现了复杂模型下的最优设计，在一维和二维设计问题中均表现出色，准确收敛至最优设计。

ABSTRACT

Simulation-based optimal design techniques are a convenient tool for solving a particular class of optimal design problems. The goal is to find the optimal configuration of factor settings with respect to an expected utility criterion. This criterion depends on the specified probability model for the data and on the assumed prior distribution for the model parameters. We develop new simulation-based optimal design methods which incorporate likelihood-free approaches and utilize them in novel applications. Most simulation-based design strategies solve the intractable expected utility integral at a specific design point by using Monte Carlo simulations from the probability model. Optimizing the criterion over the design points is carried out in a separate step. Müller (1999) introduces an MCMC algorithm which simultaneously addresses the simulation as well as the optimization problem. In principle, the optimal design can be found by detecting the utility mode of the sampled design points. Several improvements have been suggested to facilitate this task for multidimensional design problems (see e.g. Amzal et al. 2006). We aim to extend this simulation-based design methodology to design problems where the likelihood of the probability model is of an unknown analytical form but it is possible to simulate from the probability model. We further assume that prior observations are available. In such a setting it is seems natural to employ approximate Bayesian computation (ABC) techniques in order to be able to simulate from the conditional probability model. We provide a thorough review of adjacent literature and we investigate the benefits and the limitations of our design methodology for a particular paradigmatic example.

研究动机与目标

• 解决似然函数在解析上难以计算但可生成数据的实验设计问题。
• 通过近似贝叶斯计算（ABC）将基于模拟的最优设计方法扩展至无似然函数的场景。
• 开发一种两阶段基于MCMC的方法，首先利用ABC近似后验分布，然后在设计空间上优化期望效用。
• 通过将ABC与基于MCMC的优化相结合，实现自适应和顺序设计应用。
• 在具有已知最优设计的典型示例上评估该方法的性能，评估收敛性与计算效率。

提出的方法

• 当似然函数难以计算时，使用ABC从给定观测数据的参数后验分布中进行模拟。
• 应用两阶段MCMC算法：首先通过ABC生成加权后验样本，然后在设计点上优化期望效用。
• 对设计参数使用均匀提议分布，以确保在高阶效用函数幂次下仍能探索高效益区域。
• 使用参数 $ J $ 进行幂次变换的期望效用函数，以提升采样效率并增强模式检测能力。
• 采用核密度估计及接受率/IAT诊断方法评估MCMC的收敛性与混合性。
• 通过使用多变量ABC核与容差阈值 $ \epsilon $，将该框架扩展至多维设计问题。

实验结果

研究问题

• RQ1 ABC-MCMC方法能否有效与基于模拟的最优设计结合，以处理难以计算的似然函数？
• RQ2 效用函数幂次 $ J $ 的选择如何影响MCMC采样器在设计空间中的收敛性与准确性？
• RQ3 后验样本大小与马尔可夫链长度对最优设计估计质量有何影响？
• RQ4 所提出的两阶段ABC-MCMC框架能否扩展至具有已知最优解的多维设计问题？
• RQ5 随着 $ J $ 增大，接受率与综合自相关时间（IAT）如何变化，这对采样效率有何含义？

主要发现

• 该方法在一维示例中成功识别出最优设计，MCMC样本集中于真实最优设计 $ d^* = 0.998 $ 附近。
• 当 $ J = 200 $ 时，接受率降至 0.0078，但采样器仍能收敛至最优区域，表明即使接受率较低也具有鲁棒性。
• 在二维设计中，MCMC采样器正确识别出两个最优设计：$ \mathbf{d} = (0,1)^T $ 和 $ \mathbf{d} = (1,0)^T $，且在这些点附近样本频率较高。
• 运行时间随 $ J $ 增大而增加，但即使在 $ J = 200 $ 且链长为 $ 10^5 $ 的情况下，第二阶段仍可在两分钟内完成，表明计算上的可行性。
• 后验样本量为10,000和20,000时结果几乎相同，表明样本量超过某一临界值后收益递减。
• 即使采用 $ \epsilon $-容差ABC，该方法仍能准确逼近后验分布与最优设计，表明在设计优化背景下对ABC近似误差具有鲁棒性。