[논문 리뷰] Discussion Paper: Should statistics rescue mathematical modelling?

Andrea Saltelli|arXiv (Cornell University)|2017. 12. 18.

Probabilistic and Robust Engineering Design참고 문헌 132인용 수 3

한 줄 요약

이 논문은 통계학이 불확실성 측정, 민감도 분석, 민감도 감사와 같은 통계 도구를 모델링 관행에 통합함으로써 방법론적, 문화적, 윤리적 한계에서 수학적 모델링을 구제하는 데 중심적인 역할을 해야 한다고 주장한다. 주요 기여는 이러한 기법들을 분야 간으로 표준화하고 제도화하여 모델 품질과 재현 가능성을 향상시키는 것이다.

ABSTRACT

Statistics experiences a storm around the perceived misuse and possible abuse of its methods in the context of the so-called reproducibility crisis. The methods and styles of quantification practiced in mathematical modelling rarely make it to the headlines, though modelling practitioners writing in disciplinary journals flag a host of problems in the field. Technical, cultural and ethical dimensions are simultaneously at play in the current predicaments of both statistics and mathematical modelling. Since mathematical modelling is not a discipline like statistics, its shortcomings risk remaining untreated longer. We suggest that the tools of statistics and its disciplinary organisation might offer a remedial contribution to mathematical modelling, standardising methodologies and disseminating good practices. Statistics could provide scientists and engineers from all disciplines with a point of anchorage for sound modelling work. This is a vast and long-term undertaking. A step in the proposed direction is offered here by focusing on the use of statistical tools for quality assurance of mathematical models. By way of illustration, techniques for uncertainty quantification, sensitivity analysis and sensitivity auditing are suggested for incorporation in statistical syllabuses and practices.

연구 동기 및 목표

• 과학적 모델링에서 재현 가능성과 방법론적 엄밀함의 증가하는 위기를 해결하기 위해, 특히 비통계학적 분야에서.
• 수학적 모델링은 통계와 달리 제도화된 표준이 없고, 비형식적인 관행로 인해 오용될 위험이 있다는 점을 부각하기 위해.
• 통계학이 방법론적 도구와 품질 보증 프레임워크를 제공함으로써 신뢰할 수 있는 모델링을 위한 학문적 기초가 될 수 있다는 점을 제안하기 위해.
• 민감도 분석과 불확실성 측정과 같은 통계 기법을 모델링 교육 과정과 관행에 통합할 것을 주장하기 위해.
• 통계적 감시와 표준화를 통해 모델링의 윤리적 및 기술적 개선을 촉진하기 위해.

제안 방법

• 입력 변수의 변동성 하에서 모델 출력의 신뢰성을 평가하기 위해 불확실성 측정 기법의 사용을 제안한다.
• 모델 출력에 가장 영향을 미치는 입력 요소를 식별하기 위해 민감도 분석을 방법으로 도입함으로써 투명성과 강건성을 향상시킨다.
• 민감도 분석 결과의 타당성과 일관성을 평가하기 위한 품질 보증 수단으로 민감도 감사를 주장한다.
• 이러한 통계 도구를 공식적인 통계 교과과정과 다학제적 모델링 교육 프로그램에 통합할 것을 권고한다.
• 기존의 통계 방법론을 활용하여 모델 검증과 오류 탐지에 체계적이고 반복 가능한 접근법을 제공한다.
• O'Neill 추측과 유의성 검정 폐기 논의를 최근 사례로 삼아 과학 전반의 방법론적 과제를 설명한다.

실험 결과

연구 질문

• RQ1 통계학적 방법론은 과학적 및 공학적 적용 분야에서 수학적 모델의 신뢰성과 투명성을 어떻게 향상시킬 수 있는가?
• RQ2 강력한 통계 도구가 존재하는 바에도 불구하고 수학적 모델링이 여전히 방법론적 결함에 취약한 이유는 무엇인가?
• RQ3 통계학은 다양한 분야에서 수학적 모델링의 최선의 실천 방식을 표준화하고 제도화하는 데 어떤 역할을 할 수 있는가?
• RQ4 불확실성 측정과 민감도 분석을 체계적으로 적용하여 모델 품질과 재현 가능성을 어떻게 향상시킬 수 있는가?
• RQ5 수학적 모델링에서 통계 관행을 채택하는 데 있어 윤리적 및 문화적 장벽은 무엇이며, 이를 어떻게 극복할 수 있는가?

주요 결과

• 불확실성 측정과 민감도 분석과 같은 통계 도구는 수학적 모델의 품질과 방어 가능성에 상당한 기여를 할 수 있다.
• 모델 워크플로에 민감도 감사를 통합하면 잘못된 민감도 분석 관행를 탐지하고 수정할 수 있어 모델의 무결성을 향상시킬 수 있다.
• 논문은 수학적 모델링에 대한 제도적 감독의 격차를 밝혀내었으며, 이는 통계학에서 볼 수 있는 공식적 표준이 부재하기 때문이다.
• O'Neill 추측은 복잡한 모델링 가정을 명확히 하고 검증하는 데 있어 통계적 사고가 어떻게 기여할 수 있는지 보여주는 사례 연구로 사용된다.
• 최근의 유의성 검정 폐기 논의는 수학적 모델링을 포함한 과학 전반의 방법론적 개혁이 필요한 필요성을 강조한다.
• 재현 가능성과 엄밀함을 보장하기 위해 모델링 교육과 전문 실무에 통계적 품질 보증 기법을 통합할 강력한 근거가 존재한다.