[논문 리뷰] Does modelling need a Reformation? Ideas for a new grammar of modelling

Andrea Saltelli|arXiv (Cornell University)|2017. 12. 18.

Philosophy and History of Science인용 수 1

한 줄 요약

이 논문은 수학적 모델링이 의학 및 심리학 분야의 위기와 유사한 위기에 직면해 있으며, 새로운 모델링의 문법을 수립하기 위한 '개혁'이 필요하다고 주장한다. 이는 불확실성 및 민감도 분석, 민감도 감사, 정량적 서사, 정량화의 윤리 등을 통합하여 모델링 실천의 더 엄밀하고 투명하며 윤리적으로 기반을 둔 기초를 마련하기 위한 것이다.

ABSTRACT

The quality of mathematical modelling is looked at from the perspective of science's own quality control arrangement and recent crises. It is argued that the crisis in the quality of modelling is at least as serious as that which has come to light in fields such as medicine, economics, psychology, and nutrition. In the context of the nascent sociology of quantification, the linkages between big data, algorithms, mathematical and statistical modelling (use and misuse of p-values) are evident. Looking at existing proposals for best practices the suggestion is put forward that the field needs a thorough Reformation, leading to a new grammar for modelling. Quantitative methodologies such as uncertainty and sensitivity analysis can form the bedrock on which the new grammar is built, while incorporating important normative and ethical elements. To this effect we introduce sensitivity auditing, quantitative storytelling, and ethics of quantification.

연구 동기 및 목표

• 과학 분야 전반에서 수학적 모델링의 품질 악화 문제를 해결하기 위해.
• 의학, 심리학, 영양학 분야의 유사한 위기와 모델링 실패 간의 유사성을 검토하기 위해.
• 정량적 엄밀함과 윤리 원칙에 기반한 새로운 '문법'을 통해 모델링 관행의 종합적 개혁을 제안하기 위해.
• 불확실성 및 민감도 분석을 책임감 있는 모델링의 핵심 구성 요소로 통합하기 위해.
• 민감도 감사와 정량적 서사와 같은 새로운 프레임워크를 도입하여 모델링의 투명성과 해석 가능성 향상하기 위해.

제안 방법

• 모델링의 기존 최선의 관행을 분석하고 품질 관리 메커니즘의 체계적 취약점을 규명하기 위해.
• 빅데이터, 알고리즘, p-값 오용이 모델 신뢰성에 악영향을 미치는 역할을 분석하기 위해 정량화의 사회학을 활용하기 위해.
• 다양한 가정과 입력 조건 하에서 모델의 강건성을 평가하기 위한 체계적 방법으로 민감도 감사를 제안하기 위해.
• 결과를 일관되고 맥락 인식 가능한 서사로 프레임화하여 모델 결과의 해석 가능성과 소통 능력을 향상시키기 위한 서사 프레임워크로 정량적 서사를 도입하기 위해.
• 정량화의 윤리 프레임워크를 통해 모델링에 규범적 및 윤리적 고려사항을 통합하기 위해.
• 모델 투명성과 방어 가능성을 강화하기 위해 불확실성 및 민감도 분석을 기초 기법으로 통합하기 위해.

실험 결과

연구 질문

• RQ1 모델링 관행의 체계적 결함이 의학, 심리학 등 다른 과학 분야의 유사한 위기와 어떻게 비교될 수 있는가?
• RQ2 수학적 모델링에서 더 큰 투명성과 책임성을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 민감도 감사는 다양한 맥락에서 모델 신뢰성을 평가하기 위해 어떻게 구현될 수 있는가?
• RQ4 정량적 서사는 복잡한 모델의 소통 및 해석을 어떻게 향상시킬 수 있는가?
• RQ5 윤리 원칙은 어떻게 체계적으로 수학적 모델의 설계 및 평가에 통합될 수 있는가?

주요 결과

• 모델링 품질의 위기는 의학, 심리학, 영양학 분야에서 관찰된 위기만큼 심각하여 품질 관리의 체계적 실패를 시사한다.
• p-값 오용과 빅데이터 및 알고리즘에 대한 과도한 의존이 모델의 신뢰성 저하에 기여했다.
• 민감도 감사는 불확실성과 다양한 가정 하에서의 모델 행동 평가를 위한 체계적 접근법을 제공한다.
• 정량적 서사는 결과를 일관되고 맥락 인식 가능한 서사로 프레임화함으로써 모델의 해석 가능성을 향상시킨다.
• 정량화의 윤리는 책임감 있는 모델 개발 및 구현을 안내하는 규범적 프레임워크를 제공한다.
• 불확실성 및 민감도 분석을 모델링 워크플로에 통합함으로써 방어 가능성과 투명성이 강화된다.