[论文解读] Efficient uniform designs for multi-wave computer experiments

Daniel Williamson, Ian Vernon|arXiv (Cornell University)|Sep 13, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 13被引用 10

一句话总结

本文提出一种高效的进化蒙特卡罗算法——不可信度驱动的进化蒙特卡罗（IDEMC），用于在计算机模型输入空间的极小、复杂子区域中生成均匀设计，特别是那些在历史匹配中尚未被排除（NROY）的区域。通过利用阈值化的不可信度度量来聚焦于NROY空间，IDEMC在超小子体积（例如原始空间的0.001%）中相比拒绝采样实现了数量级更高的效率，使得在拒绝采样失效的情况下仍能实现可行采样。

ABSTRACT

In this paper we tackle the problem of generating uniform designs in very small subregions of computer model input space that have been identified in previous experiments as worthy of further study. The method is capable of producing uniform designs in subregions of computer model input space defined by a membership function that consists of a continuous function passing a threshold test, and does so far more efficiently than current methods when these subregions are small. Our application is designing for regions of input space that are not ruled out by history matching, a statistical methodology applied in numerous diverse scientific applications whereby model runs are used to cut out regions of input space that are incompatible with real world observations. History matching defines a membership function for a region of input space that is not ruled out yet by observations in the form of a distance metric called implausibility. We use this distance metric to drive a new type of Evolutionary Monte Carlo algorithm with a uniform distribution on the not ruled out yet region as its target distribution. The algorithm can locate and generate uniform points within extremely small subspaces of the computer model input space with complex and even disconnected topologies. We illustrate the performance of the technique in comparison to current methods with a number of idealised examples. We then apply our algorithm to generating an optimal design for the not ruled out yet region of a galaxy simulation model called GALFORM following 4 previous waves of history matching where the target region is 0.001% the volume of the input space.

研究动机与目标

• 解决在历史匹配后剩余的计算机模型输入空间中极小、复杂子区域生成均匀设计的挑战。
• 克服当尚未被排除（NROY）空间仅为原始输入空间极小部分时，拒绝采样的低效与不可行性。
• 开发一种有针对性的高效采样方法，确保后续实验波次中对NROY区域的良好覆盖。
• 实现对NROY空间是否为空的可靠检测，特别是在拒绝采样无法生成任何样本的情况下。
• 通过为NROY区域提供可扩展的、均匀的采样框架，支持最优多波次计算机实验的设计。

提出的方法

• 该方法使用一种进化蒙特卡罗算法，其目标分布为基于不可信度阈值定义的NROY区域内的均匀分布。
• 采用动态不可信度梯级选择策略，引导搜索聚焦于NROY空间，通过自适应调整阈值以集中采样于最相关的子区域。
• 该算法迭代地在输入空间中提出新点，并根据其不可信度得分与目标阈值的相对关系决定接受或拒绝，确保收敛至NROY区域。
• 结合马尔可夫链蒙特卡罗原理与历史匹配框架，高效探索具有复杂拓扑结构的不连通或高维子空间。
• 该方法即使在NROY空间仅为原始输入体积的10^-5至10^-18时也具备鲁棒性。
• 利用代理模型快速计算不可信度得分，避免在采样过程中直接运行完整的计算机模型。

实验结果

研究问题

• RQ1 我们能否在历史匹配未排除的计算机模型输入空间的极小子区域中高效生成均匀设计？
• RQ2 在超小NROY区域（例如原始体积的<0.1%）中，IDEMC与拒绝采样的效率相比如何？
• RQ3 当拒绝采样失效时，IDEMC能否可靠检测NROY空间是否为空？
• RQ4 我们如何设计多波次计算机实验，以在不断缩小的NROY区域中实现最大覆盖与信息增益？
• RQ5 NROY空间的均匀采样在支持后续波次的最优设计选择中起到什么作用？

主要发现

• 在真实世界应用中，IDEMC在GALFORM星系模拟模型中的效率比拒绝采样高出18倍以上，此时NROY空间仅为原始输入体积的0.001%。
• 对于目标子体积低于原始空间0.1%的情况，IDEMC的效率显著超过拒绝采样，且随着体积缩小，效率增益急剧提升。
• 在一项合成示例中，NROY空间体积为10^-18时，拒绝采样不可行，但IDEMC成功定位并从该区域采样。
• 该算法揭示了GALFORM模型中一个关键参数可能存在双峰性，表明NROY空间中存在复杂结构，而拒绝采样可能遗漏这些特征。
• 通过观察不可信度阈值在目标值之上收敛，IDEMC能够实现对空NROY空间的可靠检测，为模型充分性提供诊断工具。
• 该方法通过在极小NROY区域中生成大规模均匀样本，支持未来波次的历史匹配，从而实现稳健的统计推断与设计选择。