[论文解读] Does modelling need a Reformation? Ideas for a new grammar of modelling

Andrea Saltelli|arXiv (Cornell University)|Dec 18, 2017

Philosophy and History of Science被引用 1

一句话总结

本文认为，数学建模正面临与医学和心理学领域相似的危机，亟需一场‘改革’，以建立新的建模语法规则。文章提出整合不确定性分析与敏感性分析、敏感性审计、定量叙事法以及量化伦理学，以构建更严谨、透明且具有伦理基础的建模实践新范式。

ABSTRACT

The quality of mathematical modelling is looked at from the perspective of science's own quality control arrangement and recent crises. It is argued that the crisis in the quality of modelling is at least as serious as that which has come to light in fields such as medicine, economics, psychology, and nutrition. In the context of the nascent sociology of quantification, the linkages between big data, algorithms, mathematical and statistical modelling (use and misuse of p-values) are evident. Looking at existing proposals for best practices the suggestion is put forward that the field needs a thorough Reformation, leading to a new grammar for modelling. Quantitative methodologies such as uncertainty and sensitivity analysis can form the bedrock on which the new grammar is built, while incorporating important normative and ethical elements. To this effect we introduce sensitivity auditing, quantitative storytelling, and ethics of quantification.

研究动机与目标

• 解决科学各学科中数学建模质量日益恶化的危机。
• 探讨建模失败与医学、心理学及营养学领域类似危机之间的相似性。
• 通过基于定量严谨性与伦理原则的新‘语法规则’，全面改革建模实践。
• 将不确定性和敏感性分析作为负责任建模的核心组成部分。
• 引入新颖的框架——敏感性审计与定量叙事法——以提升建模过程的透明度与可解释性。

提出的方法

• 分析现有建模最佳实践，识别质量控制机制中的系统性薄弱环节。
• 借鉴量化社会学理论，探讨大规模数据、算法以及p值滥用如何削弱模型的可靠性。
• 提出敏感性审计作为一种系统性方法，用于评估模型在不同假设与输入下的鲁棒性。
• 引入定量叙事法作为叙事框架，以增强模型结果的可解释性与沟通效果。
• 通过量化伦理学框架，将规范性与伦理考量系统性地嵌入建模过程。
• 将不确定性和敏感性分析作为基础技术，以增强模型的透明度与可辩护性。

实验结果

研究问题

• RQ1 建模实践中的系统性缺陷与医学、心理学等其他科学领域的缺陷在哪些方面可比？
• RQ2 哪些机制可确保数学建模具有更高的透明度与问责性？
• RQ3 如何实现敏感性审计，以在不同情境下评估模型的可靠性？
• RQ4 定量叙事法在哪些方面可改善复杂模型的沟通与解释？
• RQ5 伦理原则如何系统性地融入数学模型的设计与评估过程？

主要发现

• 建模质量危机的严重程度与医学、心理学及营养学领域所观察到的危机相当，表明质量控制存在系统性失败。
• p值滥用以及对大规模数据与算法的过度依赖，显著加剧了模型的不可靠性。
• 敏感性审计为在不确定性与不同假设下评估模型行为提供了结构化方法。
• 定量叙事法通过在连贯且情境感知的叙事中呈现结果，增强了模型的可解释性。
• 量化伦理学为负责任的模型开发与部署提供了规范性框架。
• 将不确定性和敏感性分析整合进建模工作流程，可增强模型的可辩护性与透明度。