[论文解读] Adaptive design of supercomputer experiments

Robert B. Gramacy, Herbert K. H. Lee|arXiv (Cornell University)|May 28, 2008

Machine Learning and Algorithms参考文献 37被引用 16

一句话总结

本文提出了一种用于超级计算机实验的自适应序列设计框架，采用贝叶斯树形高斯过程对非平稳响应面进行建模，同时最小化计算成本。通过利用预测不确定性在异步、基于代理的环境中引导实验运行，该方法相比固定稀疏设计在空间覆盖范围和准确性方面均有提升。

ABSTRACT

Computer experiments are often performed to allow modeling of a response surface of a physical experi-ment that can be too costly or difficult to run except using a simulator. Running the experiment over a dense grid can be prohibitively expensive, yet running over a sparse design chosen in advance can result in obtaining insufficient information in parts of the space, particularly when the surface is nonstation-ary. We propose an approach which automatically explores the space while simultaneously fitting the response surface, using predictive uncertainty to guide subsequent experimental runs. The newly devel-oped Bayesian treed Gaussian process is used as the surrogate model, and a fully Bayesian approach allows explicit nonstationary measures of uncertainty. Our adaptive sequential design framework has been developed to cope with an asynchronous, random, agent-based supercomputing environment. We take a hybrid approach which melds optimal strategies from the statistics literature with flexible strate-gies from the active learning literature. The merits of this approach are borne out in several examples, including the motivating example of a computational fluid dynamics simulation of rocket booster. Key words: nonstationary spatial model, treed partitioning, sequential design, active learning 1

研究动机与目标

• 解决超级计算机实验中密集网格采样带来的高成本与低效率问题。
• 克服固定稀疏设计在非平稳响应面中可能遗漏关键区域的局限性。
• 开发一种框架，以自适应方式探索输入空间，同时构建精确的代理模型。
• 实现在异步、基于代理的超级计算环境中高效、序列化的实验。
• 将统计学中的最优设计策略与灵活的主动学习方法相结合，以提升响应面估计性能。

提出的方法

• 该方法采用贝叶斯树形高斯过程（B-TGP）作为代理模型，以捕捉响应面上的非平稳空间行为。
• 利用B-TGP的预测不确定性来指导新实验运行的选择，重点关注不确定性较高的区域。
• 采用完全贝叶斯推断方法，为决策提供明确的、非平稳的不确定性度量。
• 该框架支持异步、随机、基于代理的执行，适用于大规模超级计算环境。
• 将统计学中的最优设计原则与主动学习策略相结合，以平衡探索与利用。

实验结果

研究问题

• RQ1 在计算成本高昂的超级计算机实验中，如何高效探索高维非平稳响应面？
• RQ2 何种采样策略可在最小化模拟次数的同时，最大化模型准确性和空间覆盖范围？
• RQ3 如何在分布式、异步计算环境中有效利用预测不确定性来指导序列实验设计？
• RQ4 贝叶斯树形高斯过程在捕捉复杂非平稳响应面方面，相较于标准平稳模型有多大优势？
• RQ5 如何将最优设计原则与主动学习相结合，以实现自适应超级计算机实验？

主要发现

• 与固定稀疏设计相比，自适应设计框架在非平稳区域显著提升了响应面估计的准确性。
• 利用预测不确定性可有效探索高不确定性区域，从而减少所需模拟次数。
• 贝叶斯树形高斯过程提供了明确的非平稳不确定性度量，增强了序列设计中的决策能力。
• 该框架在异步、基于代理的超级计算环境中表现出强健性，支持可扩展的分布式实验。
• 该方法在真实火箭助推器计算流体动力学模拟中表现出色，验证了其实际应用价值。