[论文解读] A General Strategy for Physics-Based Model Validation Illustrated with Earthquake Phenomenology, Atmospheric Radiative Transfer, and Computational Fluid Dynamics

Didier Sornette, Anthony B. Davis+2 more|arXiv (Cornell University)|Oct 1, 2007

Meteorological Phenomena and Simulations参考文献 124被引用 5

一句话总结

本文提出一种通用的、迭代的物理模型验证策略，将验证视为渐进式信任积累过程，而非二元的通过/失败测试。该方法结合实验的冗余性与新颖性及预测准确性，在地震建模、大气辐射和流体动力学等领域验证其方法，确立了模型验证必须包含样本外预测，以应对在混沌或复杂系统中可测试性的根本限制。

ABSTRACT

Validation is often defined as the process of determining the degree to which a model is an accurate representation of the real world from the perspective of its intended uses. Validation is crucial as industries and governments depend increasingly on predictions by computer models to justify their decisions. In this article, we survey the model validation literature and propose to formulate validation as an iterative construction process that mimics the process occurring implicitly in the minds of scientists. We thus offer a formal representation of the progressive build-up of trust in the model, and thereby replace incapacitating claims on the impossibility of validating a given model by an adaptive process of constructive approximation. This approach is better adapted to the fuzzy, coarse-grained nature of validation. Our procedure factors in the degree of redundancy versus novelty of the experiments used for validation as well as the degree to which the model predicts the observations. We illustrate the new methodology first with the maturation of Quantum Mechanics as the arguably best established physics theory and then with several concrete examples drawn from some of our primary scientific interests: a cellular automaton model for earthquakes, an anomalous diffusion model for solar radiation transport in the cloudy atmosphere, and a computational fluid dynamics code for the Richtmyer-Meshkov instability. This article is an augmented version of Sornette et al. [2007] that appeared in Proceedings of the National Academy of Sciences in 2007 (doi: 10.1073/pnas.0611677104), with an electronic supplement at URL http://www.pnas.org/cgi/content/full/0611677104/DC1. Sornette et al. [2007] is also available in preprint form at physics/0511219.

研究动机与目标

• 解决在高风险政策与工程决策中对基于物理的计算机模型进行可靠验证的日益增长的需求。
• 通过以适应性、迭代的信任积累过程替代僵化、非此即彼的验证标准，克服传统验证方法的局限性。
• 形式化说明实验数据的冗余性与新颖性，以及预测准确性，如何共同提升模型的可信度。
• 展示该方法在地震现象学、大气辐射传输和计算流体动力学等多样化领域中的适用性。
• 强调在样本内数据无法区分竞争模型时，尤其在混沌或重尾系统中，样本外预测在模型验证中的关键作用。

提出的方法

• 将模型验证形式化为一种迭代过程，通过反复将模型预测与新观测结果对比来累积证据。
• 提出一个框架，通过加权验证实验中冗余度与新颖性的程度，评估模型确认的稳健性。
• 以预测准确性——尤其是模型在标定范围之外的预测能力——作为验证成功的核心指标。
• 将该策略应用于三个不同的物理领域：用于地震的元胞自动机模型、用于太阳辐射的异常扩散模型，以及用于Richtmyer–Meshkov不稳定性模拟的计算流体动力学（CFD）代码。
• 引入最大似然估计（MLE）和贝叶斯推断等统计方法，同时警告在确定性混沌系统中误用这些方法的风险。
• 强调在数据有限时，模型难以区分（例如幂律分布与拉伸指数尾部），必须依赖样本外验证以解决歧义。

实验结果

研究问题

• RQ1 如何将模型验证形式化为一种非二元的、建设性的迭代过程，而非简单的通过/失败评估？
• RQ2 实验数据的冗余性与新颖性在建立基于物理的模型可信度方面发挥何种作用？
• RQ3 为何在复杂或混沌系统中，样本外预测对于模型验证至关重要，因为样本内拟合可能具有误导性？
• RQ4 当在具有噪声的确定性混沌系统中使用时，MLE和贝叶斯推断等统计估计方法在哪些方面会失效或误用？
• RQ5 当数据不足以在样本内分辨竞争模型（如幂律分布与拉伸指数分布）时，应如何区分它们？

主要发现

• 验证不应被视为最终的验证，而应视为通过反复进行多样化且具有预测性的测试，逐步建立信任的渐进式、适应性过程。
• 即使样本内拟合程度相似，能够在标定范围之外良好预测的模型——尤其在混沌或复杂系统中——也表现出更高的可信度。
• 在具有加性噪声的确定性混沌系统中，贝叶斯参数估计方法在本质上存在缺陷，因为它假设模型为随机模型，而非确定性模型。
• 尽管最大似然估计（MLE）在实践中有时能取得良好结果，但在混沌系统中缺乏一致性和效率的理论保证。
• 在对初始条件敏感的系统中，如带噪声的逻辑斯蒂映射，实现一致估计所需的数据点数量与初始状态记忆的指数性衰减之间存在冲突。
• 对于金融回报等重尾现象，数据限制使得在样本内无法区分幂律分布与拉伸指数分布，因此样本外预测对模型选择与风险评估至关重要。