[论文解读] A synthetic likelihood-based Laplace approximation for efficient design of biological processes

Mahasen B. Dehideniya, Antony M. Overstall+2 more|arXiv (Cornell University)|Mar 11, 2019

Optimal Experimental Design Methods参考文献 45被引用 7

一句话总结

本文提出了一种基于合成似然的拉普拉斯近似方法，以实现对具有不可行似然函数的复杂生物模型的高效贝叶斯实验设计。通过将摘要统计量与后验分布的拉普拉斯近似相结合，该方法在高维设计空间中显著加速了效用评估，实现了流行病学与生态学中大规模实验的最优设计，计算成本大幅降低，且在多种效用函数下表现稳健。

ABSTRACT

Complex models used to describe biological processes in epidemiology and ecology often have computationally intractable or expensive likelihoods. This poses significant challenges in terms of Bayesian inference but more significantly in the design of experiments. Bayesian designs are found by maximising the expectation of a utility function over a design space, and typically this requires sampling from or approximating a large number of posterior distributions. This renders approaches adopted in inference computationally infeasible to implement in design. Consequently, optimal design in such fields has been limited to a small number of dimensions or a restricted range of utility functions. To overcome such limitations, we propose a synthetic likelihood-based Laplace approximation for approximating utility functions for models with intractable likelihoods. As will be seen, the proposed approximation is flexible in that a wide range of utility functions can be considered, and remains computationally efficient in high dimensions. To explore the validity of this approximation, an illustrative example from epidemiology is considered. Then, our approach is used to design experiments with a relatively large number of observations in two motivating applications from epidemiology and ecology.

研究动机与目标

• 为解决系统生物学、流行病学和生态学中具有不可行或计算昂贵似然函数的模型在贝叶斯实验设计中的计算不可行性问题。
• 扩展现有方法，以处理更大的设计空间，并支持超越基于似然的效用函数的更广泛效用函数类型。
• 通过用摘要统计量和后部分布的拉普拉斯近似替代完整的似然评估，降低计算负担。
• 在保持效用近似精度与鲁棒性的前提下，实现对大量观测值的实验高效设计。
• 提供一种可扩展、灵活的最优设计框架，避免依赖预模拟数据集和离散设计空间约束。

提出的方法

• 该方法使用摘要统计量降低维度，避免高维数据中的维数灾难。
• 采用合成似然方法，在假设多变量正态分布的前提下，近似模型下摘要统计量的似然函数。
• 使用拉普拉斯近似高效近似给定摘要统计量和设计的参数后验分布。
• 利用拉普拉斯近似后的后验分布评估各类效用函数——如Kullback-Leibler散度、互信息、负平方误差损失和总熵。
• 通过优化方法探索设计空间以最大化期望效用，结合迭代优化以避免不良近似。
• 通过示例和两个真实世界应用（口蹄疫模型与改进的Lotka-Volterra捕食者-猎物模型）对方法进行验证。

实验结果

研究问题

• RQ1 基于合成似然的拉普拉斯近似能否在高维设计空间中有效近似具有不可行似然函数模型的效用函数？
• RQ2 在大规模生物实验中，该方法在计算效率与准确性方面相较于现有方法表现如何？
• RQ3 该方法在复杂生物系统实验设计中，对多样化效用函数（包括非基于似然的效用函数）的处理能力如何？
• RQ4 该方法在不同模型和数据生成机制（如随机流行病过程与生态过程）下的鲁棒性如何？
• RQ5 该方法能否应用于需要大量观测值的模型，而不会带来不可接受的计算成本？

主要发现

• 所提出的方法实现了对具有不可行似然函数模型的高效实验设计，通过减少所需模型模拟次数，显著降低了计算成本。
• 在口蹄疫模型中，该方法成功识别出具有高效益的采样时间，展示了在不同设计准则下的鲁棒性。
• 在改进的Lotka-Volterra模型中，基于SIGP和NSEL效用的设计表现与等距设计相当，20个设计点的平均期望效用分别为2.97（标准差0.02）和-0.0589（标准差0.0005）。
• 拉普拉斯近似提供了精确的效用估计，计算开销极小，支持在连续、高维设计空间中进行优化。
• 该方法优于以往方法，可在不依赖预模拟数据集或离散设计网格的前提下，支持更大的设计空间和更广范围的效用函数。
• 尽管摘要统计量选择存在挑战，该方法仍保持稳定与高效，且在优化过程中过滤掉了低效设计。