[논문 리뷰] A Model-Centric Analysis of Openness, Replication, and Reproducibility

Bert Baumgaertner, Berna Devezer외 2명|arXiv (Cornell University)|2018. 11. 12.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 확률적 추론을 사용하여 실험 구성 요소의 개방성에 대해 분석함으로써 모델 중심의 재현 가능성 이론을 제안한다. 이는 일반적인 잘못된 관행(예: p-hacking 또는 출판 편향)이 없더라도 실험 설계와 개방성의 기초적인 구조적 장애로 인해 재현 가능성 확보가 보장되지 않음을 보여주며, 개인의 부정행위를 제거하면 재현 가능성 보장된다는 가정을 도전한다.

ABSTRACT

The literature on the reproducibility crisis presents several putative causes for the proliferation of irreproducible results, including HARKing, p-hacking and publication bias. Without a theory of reproducibility, however, it is difficult to determine whether these putative causes can explain most irreproducible results. Drawing from an historically informed conception of science that is open and collaborative, we identify the components of an idealized experiment and analyze these components as a precursor to develop such a theory. Openness, we suggest, has long been intuitively proposed as a solution to irreproducibility. However, this intuition has not been validated in a theoretical framework. Our concern is that the under-theorizing of these concepts can lead to flawed inferences about the (in)validity of experimental results or integrity of individual scientists. We use probabilistic arguments and examine how openness of experimental components relates to reproducibility of results. We show that there are some impediments to obtaining reproducible results that precede many of the causes often cited in literature on the reproducibility crisis. For example, even if erroneous practices such as HARKing, p-hacking, and publication bias were absent at the individual and system level, reproducibility may still not be guaranteed.

연구 동기 및 목표

• 과학 연구의 재현 가능성에 대한 이론적 프레임워크 부족 문제를 해결하기 위해.
• HARKing 및 p-hacking과 같은 잘 알려진 잘못된 관행를 제거했음에도 불구하고 재현 불가능한 결과가 지속되는 이유를 조사하기 위해.
• 확률적 시각에서 실험 구성 요소의 개방성이 재현 가능성에 어떻게 영향을 미치는지 분석하기 위해.
• 개인 수준의 방법론적 오류가 나타나기 이전에 존재하는 재현 가능성의 기초적 장애 요소를 규명하기 위해.
• 오랫동안 제기되어 온 그러나 이론화되지 않은 통찰력인 '개방성이 재현 가능성을 보장한다'는 믿음을 이론적으로 검증하기 위해.

제안 방법

• 이deally 실험의 구성 요소를 정의하기 위해 역사적으로 충분히 고려된 개방적이고 협업적인 과학 개념을 기반으로 한다.
• 실험 구성 요소의 개방성과 결과의 재현 가능성 간의 관계를 모델링하기 위해 확률적 추론을 사용한다.
• 설계, 데이터, 분석 구성 요소의 개방성이 재현 가능한 결과의 가능성에 어떻게 영향을 미치는지 분석한다.
• 개인 수준의 오류(예: p-hacking)의 영향과 재현 가능성에 대한 체계적이고 구조적 장애 요소의 영향을 비교한다.
• 개방성과 재현 가능성 간의 이론적 연결 고리를 형식화하여, 개방성 자체가 재현 가능성 문제를 해결할 수 있는지 평가한다.

실험 결과

연구 질문

• RQ1 p-hacking이나 출판 편향과 같은 일반적인 잘못된 연구 관행 이전에 존재하는 재현 가능성의 구조적 장애 요소는 무엇인가?
• RQ2 실험 구성 요소의 개방성이 결과의 재현 가능성에 어떻게 확률적으로 영향을 미치는가?
• RQ3 개방성이 재현 가능성을 보장한다는 직관적 믿음이 이론적으로 얼마나 타당한가?
• RQ4 개인의 비윤리적 행동이 없더라도 실험 설계나 보고 방식에 기초적인 결함이 존재하여 재현 가능성을 떨어뜨릴 수 있는가?
• RQ5 모델 중심 접근 방식은 기존의 재현 가능성 위기 설명과 어떻게 다를 수 있으며, 어떻게 이를 향상시킬 수 있는가?

주요 결과

• HARKing, p-hacking, 출판 편향이 없더라도 실험 설계의 구조적 문제로 인해 재현 가능성 달성에 실패할 수 있다.
• 이론적 분석은 구성 요소 수준의 투명성에 대한 적절한 모델링이 없으면 개방성만으로는 재현 가능성을 보장할 수 없다는 것을 드러낸다.
• 개인 수준의 오류가 나타나기 이전에 재현 가능성의 기초적 장애 요소가 존재하므로, 체계적 개혁이 필요하다.
• 확률적 모델링은 실험 구성 요소의 개방성이 재현의 불확실성을 줄이지만 완전히 제거하지는 못한다는 것을 보여준다.
• 개방성과 재현 가능성의 이론화 부족은 과학적 정당성과 결과의 타당성에 대한 오해를 초래한다.
• 재현 가능성의 형식적 이론이 있어야 재현 불가능한 결과에 대한 비호소적 설명을 넘어서야 한다.