[論文レビュー] Discussion Paper: Should statistics rescue mathematical modelling?

Andrea Saltelli|arXiv (Cornell University)|Dec 18, 2017

Probabilistic and Robust Engineering Design参考文献 132被引用数 3

ひとこと要約

この論文は、不確実性の定量化、感度分析、感度監査といった統計的手法をモデリングの実践に統合することで、方法論的・文化的・倫理的な欠陥から数学的モデリングを救うために、統計が中心的役割を果たすべきだと主張している。主な貢献は、これらの技術を分野を越えて標準化・制度化するよう呼びかけることによって、モデルの品質と再現可能性を向上させることにある。

ABSTRACT

Statistics experiences a storm around the perceived misuse and possible abuse of its methods in the context of the so-called reproducibility crisis. The methods and styles of quantification practiced in mathematical modelling rarely make it to the headlines, though modelling practitioners writing in disciplinary journals flag a host of problems in the field. Technical, cultural and ethical dimensions are simultaneously at play in the current predicaments of both statistics and mathematical modelling. Since mathematical modelling is not a discipline like statistics, its shortcomings risk remaining untreated longer. We suggest that the tools of statistics and its disciplinary organisation might offer a remedial contribution to mathematical modelling, standardising methodologies and disseminating good practices. Statistics could provide scientists and engineers from all disciplines with a point of anchorage for sound modelling work. This is a vast and long-term undertaking. A step in the proposed direction is offered here by focusing on the use of statistical tools for quality assurance of mathematical models. By way of illustration, techniques for uncertainty quantification, sensitivity analysis and sensitivity auditing are suggested for incorporation in statistical syllabuses and practices.

研究の動機と目的

• 科学的モデリングにおける再現性と方法論的厳密性の低下という深刻な危機に対処すること、特に統計的でない分野を対象として。
• 数学的モデリングは統計とは異なり、標準化された制度的枠組みを欠いており、非公式な実践のため、誤用のリスクにさらされていることを強調すること。
• 統計が、方法論的ツールと品質保証フレームワークを提供することで、健全なモデリングのための分野的基盤を担えるようにすること。
• 感度分析や不確実性の定量化といった統計的手法を、モデリングのカリキュラムと実践に組み込むよう提言すること。
• 統計的監視と標準化を通じて、モデリングにおける技術的・倫理的改善を促進すること。

提案手法

• 入力の変動下でのモデル出力の信頼性を評価するために、不確実性の定量化技術の使用を提言する。
• 出力に最も影響を与えるモデルの入力を特定する手法として、感度分析を導入し、透明性とロバストネスを向上させる。
• 感度分析の結果の妥当性と一貫性を評価する品質管理メカニズムとして、感度監査を提唱する。
• これらの統計的手法を公式な統計カリキュラムおよび異分野のモデリング教育プログラムに統合するよう勧告する。
• 既存の統計的手法に裏付けられ、モデルの妥当性検証と誤検出に体系的かつ繰り返し可能なアプローチを提供する。
• オニール予想と、有意性検定の廃止をめぐる最近の議論を、科学における広範な方法論的課題の例として用いる。

実験結果

リサーチクエスチョン

• RQ1 統計的手法は、科学的・工学的応用における数学的モデルの信頼性と透明性をどのように向上させられるか？
• RQ2 洗練された統計的手法が存在するにもかかわらず、なぜ数学的モデリングは依然として方法論的欠陥にさらされているのか？
• RQ3 統計は、分野を越えて数学的モデリングにおけるベストプラクティスを標準化・制度化するために、どのような役割を果たせるか？
• RQ4 不確実性の定量化と感度分析を体系的に応用することで、モデルの品質と再現性をどのように向上させられるか？
• RQ5 数学的モデリングにおける統計的実践の採用を阻害する倫理的・文化的障壁は何か、そしてそれらはどのように乗り越えられるか？

主な発見

• 不確実性の定量化や感度分析といった統計的手法は、数学的モデルの品質と説得力の両方を顕著に向上させられる。
• モデリングワークフローに感度監査を統合することで、誤った感度分析の実践を検出し、是正でき、モデルの整合性が向上する。
• この論文は、統計に見られるような公式な基準が欠如しているため、数学的モデリングには制度的監視のギャップが存在すると指摘している。
• オニール予想は、統計的推論が複雑なモデリング仮定を明確にし、検証するのに役立つ事例として用いられている。
• 最近の有意性検定の廃止をめぐる議論は、数学的モデリングを含む、より広範な方法論的改革の必要性を浮き彫りにしている。
• 再現可能性と厳密性を保証するため、モデリング教育および専門的実践に統計的品質保証技術を組み込む強力な根拠がある。