[논문 리뷰] Openness and Reproducibility: Insights from a Model-Centric Approach

Bert Baumgaertner, Berna Devezer외 2명|arXiv (Cornell University)|2018. 11. 12.

Meta-analysis and systematic reviews참고 문헌 30인용 수 5

한 줄 요약

이 논문은 개방성, 재현 가능성 및 신뢰성, 감사 가능성과 같은 과학적 개념 간의 관계를 명확히 하기 위해 모델 중심의 프레임워크를 제안한다. 확률 이론과 통계적 추론을 사용하여, 재현 가능성은 단지 데이터나 방법을 공유하는 것보다 모델 특화 세부 정보—예를 들어 가정, 구조, 파라미터—를 공유하는 데에 더 크게 의존하며, 단순한 투명성만으로는 재현 가능성을 보장하지 못함을 주장한다. 이는 재현 가능성 위기 논의에서 일반적으로 공유되는 가정에 도전한다.

ABSTRACT

This paper investigates the conceptual relationship between openness and reproducibility using a model-centric approach, heavily informed by probability theory and statistics. We first clarify the concepts of reliability, auditability, replicability, and reproducibility--each of which denotes a potential scientific objective. Then we advance a conceptual analysis to delineate the relationship between open scientific practices and these objectives. Using the notion of an idealized experiment, we identify which components of an experiment need to be reported and which need to be repeated to achieve the relevant objective. The model-centric framework we propose aims to contribute precision and clarity to the discussions surrounding the so-called reproducibility crisis.

연구 동기 및 목표

• 과학적 연구에서 신뢰성, 감사 가능성, 재현 가능성, 재현 가능성 간의 개념적 차이를 명확히 하는 것.
• 개방성만으로 재현 가능성 위기를 해결할 수 있다는 가정을 도전하며, 데이터나 방법의 투명성만으로는 모델 수준의 투명성이 없으면 충분하지 않음을 보여주는 것.
• 확률 이론에 기반한 형식적이고 모델 중심의 프레임워크를 개발하여 과학적 결과가 어떻게 재현될 수 있는지 더 잘 이해하는 것.
• 특정 과학적 목표—예를 들어 재현 가능성 또는 감사 가능성—를 달성하기 위해 실험의 어떤 구성 요소를 공유해야 하는지 규명하는 것.
• 가설 중심의 접근 방식이 개방 과학 관행을 모델링하는 데 부적절하며, 모델 비교가 과학적 진전의 핵심임을 주장하는 것.

제안 방법

• 저자는 과학적 결과가 신뢰성 있고 감사 가능하며 재현 가능하거나 재현 가능한 조건을 형식화하기 위해 이상화된 실험 모델을 사용한다.
• 확률 이론과 통계의 원리를 적용하여 과학적 목표와 실험 구성 요소 간의 논리적 종속성을 분석한다.
• 모델 중심의 접근은 가정, 구조, 파라미터를 강조하는 바탕으로 과학 모델—가설이 아니라—를 분석의 중심 단위로 삼는다.
• 프레임워크는 감사 가능성에 필수적인 공유가 필요한 구성 요소(예: 방법, 데이터)와 재현 가능성에 필수적인 구성 요소(예: 모델 세부 정보, 가정)를 구분한다.
• 논의는 Duhem-Quine의 통합론을 포함하여, 가정이 상호 연결되어 있기 때문에 가정은 고립된 상태에서 테스트될 수 없다는 점을 보여준다.
• 역사적 및 철학적 참조(예: 뉴턴, 게오티헤)를 사용하여 재현 가능성과 모델 비교의 인지적 과제를 맥락화한다.

실험 결과

연구 질문

• RQ1 개방성, 재현 가능성, 그리고 신뢰성, 감사 가능성과 같은 관련 과학적 목표 간의 정확한 개념적 관계는 무엇인가?
• RQ2 모든 자료가 공유된다고 해도 왜 데이터나 방법의 투명성만으로는 항상 재현 가능한 결과를 얻을 수 없는가?
• RQ3 재현 가능성을 달성하기 위해 실험의 어떤 구성 요소를 공개해야 하며, 감사 가능성에 충분한 것은 무엇인가?
• RQ4 모델 중심의 접근은 과학적 재현 가능성을 이해하는 데 있어 가설 중심 모델에 비해 어떻게 개선되는가?
• RQ5 적절한 모델 투명성이 확보되어 있다면, 데이터 공유가 없더라도 재현 가능성은 어느 정도 달성될 수 있는가?

주요 결과

• 재현 가능성은 데이터 공유만으로는 보장되지 않으며, 가정, 구조, 파라미터와 같은 모델 특화 세부 정보가 재현 가능한 결과를 위해 필수적이다.
• 어떤 실험은 완전히 감사 가능할 수 있지만 재현 가능성은 없으며, 반대로 재현 가능할 수는 있지만 감사 가능성은 없을 수 있다. 이는 이 개념들이 논리적으로 동치가 아니라는 것을 시사한다.
• 방법론적 결함이 없는 이상적인 과학 시스템 내에서도 모델 잘못 설정과 표본 오차로 인해 재현 불능이 지속될 수 있다.
• 재현 가능성의 비율은 투명성이나 철저성의 산물이 아니라 진리와 시스템 파라미터의 함수이므로, 재현 불능은 항상 부정행위의 징후는 아니다.
• 사전 등록과 개방 과학 관행는 종종 모델 세부 정보를 간과하여 재현 가능성 향상에 효과가 떨어진다.
• 배경 가정을 명시하고 모델 비교를 지원함으로써 모델 중심의 프레임워크는 과학적 실천을 더 잘 반영하며, 이는 개방적이고 협업적인 과학의 핵심이다.