[論文レビュー] Does modelling need a Reformation? Ideas for a new grammar of modelling

Andrea Saltelli|arXiv (Cornell University)|Dec 18, 2017

Philosophy and History of Science被引用数 1

ひとこと要約

この論文は、医学や心理学におけるそれらと同等の深刻な危機に直面している数学的モデリングの問題を主張し、新たなモデリングの文法を確立するための「ルター的改革」（Reformation）の必要性を提起する。不確実性と感度分析、感度監査、定量的ストーリーテリング、数量化の倫理を統合することで、モデリング実務のより厳密で透明性があり、倫理的根拠を持つ基盤を構築することを提言する。

ABSTRACT

The quality of mathematical modelling is looked at from the perspective of science's own quality control arrangement and recent crises. It is argued that the crisis in the quality of modelling is at least as serious as that which has come to light in fields such as medicine, economics, psychology, and nutrition. In the context of the nascent sociology of quantification, the linkages between big data, algorithms, mathematical and statistical modelling (use and misuse of p-values) are evident. Looking at existing proposals for best practices the suggestion is put forward that the field needs a thorough Reformation, leading to a new grammar for modelling. Quantitative methodologies such as uncertainty and sensitivity analysis can form the bedrock on which the new grammar is built, while incorporating important normative and ethical elements. To this effect we introduce sensitivity auditing, quantitative storytelling, and ethics of quantification.

研究の動機と目的

• 科学的分野における数学的モデリングの質の低下に対処すること。
• モデリングの失敗と、医学、心理学、栄養学における類似の危機との類似性を検討すること。
• 数量的厳密性と倫理的原則に基づいた新しい「文法」を柱とする包括的なモデリング実務の改革を提言すること。
• 不確実性と感度分析を、責任あるモデリングの根幹的要素として統合すること。
• 感度監査と定量的ストーリーテリングという新たな枠組みを導入し、モデリングにおける透明性と解釈可能性を向上させること。

提案手法

• モデリングにおける既存のベストプラクティスを分析し、品質管理メカニズムにおける構造的欠陥を同定すること。
• 数量化の社会学を援用して、ビッグデータ、アルゴリズム、p値の誤用がモデルの信頼性を損なう役割を検討すること。
• 仮定や入力の変化に伴うモデルの頑健性を体系的に評価するための感度監査を提案すること。
• 結果の解釈可能性と伝達性を高めるための物語的枠組みとしての定量的ストーリーテリングを導入すること。
• 数量化の倫理フレームワークを通じて、モデリングに規範的・倫理的配慮を統合すること。
• 不確実性と感度分析を、モデルの透明性と説得力強化の基盤的技術として用いること。

実験結果

リサーチクエスチョン

• RQ1 モデリング実務における構造的欠陥は、医学や心理学などの他の科学分野におけるそれらとどのように類似しているか？
• RQ2 数学的モデリングにおけるより高い透明性と説明責任を保証するメカニズムは何か？
• RQ3 感度監査を多様な文脈に応じて実務化するには、どのような手順が必要か？
• RQ4 定量的ストーリーテリングは、複雑なモデルの結果の伝達と解釈をどのように改善できるか？
• RQ5 倫理的原則を数学的モデルの設計と評価に体系的に統合するには、どのような方法があるか？

主な発見

• モデリングの質の危機は、医学、心理学、栄養学におけるそれらと同等に深刻であり、品質管理における構造的失敗を示している。
• p値の誤用とビッグデータ・アルゴリズムへの過剰依存が、モデルの信頼性低下に顕著に寄与している。
• 感度監査は、不確実性や仮定の変化に伴うモデルの挙動を評価する体系的アプローチを提供する。
• 定量的ストーリーテリングは、文脈に即した一貫性のある物語に結果を枠組み直すことで、モデルの解釈可能性を高める。
• 数量化の倫理は、責任あるモデル開発と展開を導く規範的フレームワークを提供する。
• 不確実性と感度分析をモデリングワークフローに統合することで、説得力と透明性が強化される。