[論文レビュー] A General Strategy for Physics-Based Model Validation Illustrated with Earthquake Phenomenology, Atmospheric Radiative Transfer, and Computational Fluid Dynamics

Didier Sornette, Anthony B. Davis+2 more|arXiv (Cornell University)|Oct 1, 2007

Meteorological Phenomena and Simulations参考文献 124被引用数 5

ひとこと要約

本論文は、物理ベースのモデルの妥当性を検証する一般化された反復的戦略を提案する。妥当性評価を二値の合格／不合格テストではなく、信頼を段階的に構築するプロセスとして扱う。予測精度に加え、実験の冗長性と新規性を統合し、地震モデル、大気放射、流体動力学の分野に応用してその有効性を示している。モデル妥当性には、特にカオス的または複雑な系において根本的な可テスト性の限界を克服するため、サンプル外の予測を含める必要があることを確立している。

ABSTRACT

Validation is often defined as the process of determining the degree to which a model is an accurate representation of the real world from the perspective of its intended uses. Validation is crucial as industries and governments depend increasingly on predictions by computer models to justify their decisions. In this article, we survey the model validation literature and propose to formulate validation as an iterative construction process that mimics the process occurring implicitly in the minds of scientists. We thus offer a formal representation of the progressive build-up of trust in the model, and thereby replace incapacitating claims on the impossibility of validating a given model by an adaptive process of constructive approximation. This approach is better adapted to the fuzzy, coarse-grained nature of validation. Our procedure factors in the degree of redundancy versus novelty of the experiments used for validation as well as the degree to which the model predicts the observations. We illustrate the new methodology first with the maturation of Quantum Mechanics as the arguably best established physics theory and then with several concrete examples drawn from some of our primary scientific interests: a cellular automaton model for earthquakes, an anomalous diffusion model for solar radiation transport in the cloudy atmosphere, and a computational fluid dynamics code for the Richtmyer-Meshkov instability. This article is an augmented version of Sornette et al. [2007] that appeared in Proceedings of the National Academy of Sciences in 2007 (doi: 10.1073/pnas.0611677104), with an electronic supplement at URL http://www.pnas.org/cgi/content/full/0611677104/DC1. Sornette et al. [2007] is also available in preprint form at physics/0511219.

研究の動機と目的

• 高リスクの政策立案や工学的意思決定に用いられる物理ベースのコンピュータモデルに対する信頼性の高い妥当性評価の必要性が高まる中で、その対応。
• 従来の妥当性評価の限界を克服し、硬直的で全または無の基準に代わる、適応的で反復的な信頼構築プロセスを導入。
• 冗長性と新規性の高い実験データ、および予測精度が、モデルの信頼性にどのように寄与するかを形式化。
• 地震現象論、大気放射移動、計算流体力学といった多様な分野への適用可能性を実証。
• サンプル内データでは競合モデルを区別できない場合、特にカオス的または重尾分布を示す系において、サンプル外予測が果たす重要な役割を強調。

提案手法

• モデル妥当性を、新しい観測値とモデル予測の繰り返し照合を通じて証拠を蓄積する反復的プロセスとして形式化。
• 妥当性実験における冗長性と新規性の度合いを重みづけ、モデルの確認の堅牢性を評価するフレームワークを導入。
• 予測精度（特にキャリブレーション範囲を超えた予測能力）を、妥当性成功の中心的指標として使用。
• セルラーオートマトンを用いた地震モデル、太陽放射の異常拡散モデル、リヒターメシュコフ不安定性を扱うCFDコードという3つの異なる物理学的分野に戦略を適用。
• 最尤推定（MLE）やベイズ推論といった統計的手法を統合するが、決定論的カオス系ではその誤用に注意を喚起。
• データが限られている場合、例えばべき乗則と伸びた指数的尾部のモデルが区別できない根本的問題を指摘。この場合、曖昧性を解消するにはサンプル外妥当性評価が不可欠である。

実験結果

リサーチクエスチョン

• RQ1 モデル妥当性を、二値の合格／不合格評価ではなく、反復的・構築的プロセスとして形式化する方法は何か？
• RQ2 実験データの冗長性と新規性が、物理ベースのモデルに対する信頼をどのように構築するか？
• RQ3 サンプル内フィットが誤解を招く可能性がある複雑またはカオス的系において、なぜサンプル外予測がモデル妥当性に不可欠なのか？
• RQ4 MLE やベイズ推論といった統計的推定手法が、ノイズを含む決定論的カオス系に適用された場合、どのように失敗または誤用されるのか？
• RQ5 データが不足している場合、サンプル内では区別できない競合モデル（例：べき乗則対伸びた指数的分布）をどのように区別できるか？

主な発見

• 妥当性評価は最終的な検証ではなく、繰り返し、多様で予測的であるテストを通じて信頼を段階的に構築する進行的・適応的プロセスであるべきである。
• 特にカオス的または複雑な系において、キャリブレーション範囲を超えて良好に予測できるモデルは、サンプル内フィットが類似していても、より高い信頼性を示す。
• 加法的ノイズを含む決定論的カオス系では、パrameter推定のベイズ的アプローチが根本的に誤りである。これは、確率的モデルを仮定しているが、実際には決定論的モデルであるためである。
• 最尤推定（MLE）は、カオス的系において理論的保証（一貫性・有効性）を欠くが、しばしば実用的に良好な結果をもたらすことがある。
• 初期条件に敏感な系（例：ノイズを含むロジスティック写像）では、一貫性のある推定に必要なデータ点数と、初期状態の記憶が指数関数的に消失する速度の間で矛盾が生じる。
• 金融リターンのような重尾現象では、データ制限のため、サンプル内ではべき乗則と伸びた指数的分布を区別できない。このため、モデル選択とリスク評価にはサンプル外予測が不可欠である。