[论文解读] A Generalized Framework for Approximate Control Variates

Alex Gorodetsky, Gianluca Geraci+2 more|arXiv (Cornell University)|Nov 12, 2018

Simulation Techniques and Applications参考文献 10被引用 4

一句话总结

本文提出了一种广义的蒙特卡洛框架，利用近似控制变量子来加速昂贵仿真模型中的统计估计。通过联合估计多个低 fidelity 模型的控制变量子均值，该方法突破了现有方法的方差减少上限——在高保真度评估固定或昂贵的情况下，相较于多级和多保真度蒙特卡洛方案，实现了数量级的改进。

ABSTRACT

We describe and analyze a Monte Carlo (MC) sampling framework for accelerating the estimation of statistics of computationally expensive simulation models using an ensemble of models with lower cost. Our approach uses control variates, with unknown means that must be estimated from data, to reduce the variance in statistical estimators relative to MC. Our framework unifies existing multi-level, multi-index, and multi-fidelity MC algorithms and leads to new and more efficient sampling schemes. Our results indicate that the variance reduction achieved by existing algorithms that explicitly or implicitly estimate control means, such as multilevel MC and multifidelity MC, is limited to that of a single linear control variate with known mean regardless of the number of control variates. We show how to circumvent this limitation and derive a new family of schemes that make full use of all available information sources. In particular, we demonstrate that a significant gap can exist, of orders of magnitude in some cases, between the variance reduction achievable by current recursive schemes and our generalized schemes. We also present initial sample allocation approaches for exploiting this gap, which yield the greatest benefit when augmenting the high-fidelity model evaluations is impractical because, for instance, they arise from a legacy database. Several analytic examples and two PDE problems (viscous Burger's and steady state diffusion) are considered to demonstrate the methodology.

研究动机与目标

• 为解决现有多保真度、多级和多索引蒙特卡洛方法中受限于单个具有已知均值的线性控制变量子的方差减少能力有限的问题。
• 将现有蒙特卡洛框架统一于单一广义控制变量子方法下，以充分利用所有可用的信息源，包括多个低保真度模型。
• 证明即使在拥有大量控制变量子的情况下，当前的递归方案在方差减少方面也存在根本性局限。
• 开发新的采样方案，通过从数据中联合估计控制变量子均值，实现显著更高的方差减少。
• 提供实用的样本分配策略，在高保真度模型评估固定或不可用时最大化效率。

提出的方法

• 该框架引入了一种广义线性控制变量子估计器，将多个具有未知均值的低保真度模型与数据估计的均值相结合，以减少高保真度仿真估计器的方差。
• 将最优控制变量子权重表述为一个最小二乘问题的解，通过经验协方差和均值估计来最小化组合估计器的方差。
• 该方法通过允许任意数量的控制变量子并从数据中估计其均值，而非假设其已知或递归计算，从而推广了多级和多保真度蒙特卡洛方法。
• 推导出最小化估计器方差的最优权重向量的闭式表达式，同时考虑了不同模型之间的相关性及成本权衡。
• 通过优化所有保真度层级上的样本数量，实现高效的样本分配，以在固定计算预算下最小化总方差。
• 采用解析和偏微分方程测试案例（黏性伯吉斯方程和稳态扩散方程）验证该方法，并与现有方案进行性能比较。

实验结果

研究问题

• RQ1 当存在多个低保真度模型时，广义控制变量子框架是否能在方差减少方面超越现有的多级和多保真度蒙特卡洛方法？
• RQ2 在顺序估计控制变量子均值的递归控制变量子方案中，方差减少的根本极限是什么？
• RQ3 如何充分利用来自多个低保真度模型的所有可用信息，以实现比现有方法更高的方差减少？
• RQ4 当高保真度模型评估固定或昂贵时，何种样本分配策略能最大化效率？
• RQ5 所提出的框架在多大程度上能够弥合理论潜力与实际性能在方差减少方面的差距？

主要发现

• 现有的多级和多保真度蒙特卡洛方法在方差减少方面根本受限于单个具有已知均值的线性控制变量子的性能，无论使用多少控制变量子。
• 所提出的广义框架通过从数据中联合估计控制变量子均值，实现了显著更高的方差减少——在某些情况下方差减少差距达到数量级。
• 该方法能够充分利用所有可用的低保真度模型，突破了递归估计方案的性能上限。
• 基于该框架推导出的样本分配策略带来了显著的效率提升，尤其在无法增加高保真度模型评估时更为突出。
• 解析和偏微分方程测试案例（黏性伯吉斯方程和稳态扩散方程）证实了该方法在多种仿真问题中的优越性能和可扩展性。
• 该框架统一并推广了现有蒙特卡洛方法，为未来方差减少技术的发展提供了原则性基础。