[논문 리뷰] Case Studies and Challenges in Reproducibility in the Computational Sciences

Sylwester Arabas, Michael Bareford외 15명|arXiv (Cornell University)|2014. 08. 09.

Scientific Computing and Data Management참고 문헌 35인용 수 8

한 줄 요약

이 논문은 사례 연구 4개를 통해 계산 과학 분야의 재현 가능성 도전 과제를 조사한다: 인간 대상 실험에서의 윤리적 변동성, 병렬 처리 대 순차적 처리의 재현 가능성, 비컴퓨터 과학 분야 간의 재현 가능성, 그리고 한 개의 공개된 연구 논문에 대한 연구자 간 재현 가능성이다. 저자들은 GitHub와 가상 머신(Virtual Machines)을 통해 논문 자체를 개방하고 실행 가능하게, 재현 가능하게 만들기 위해 혼합된 성공을 보여주며, 강력한 방법론적 노력을 기울였음에도 불구하고 지속적인 기술적, 법적, 윤리적 장벽이 존재함을 강조한다.

ABSTRACT

This paper investigates the reproducibility of computational science research and identifies key challenges facing the community today. It is the result of the First Summer School on Experimental Methodology in Computational Science Research (https://blogs.cs.st-andrews.ac.uk/emcsr2014/). First, we consider how to reproduce experiments that involve human subjects, and in particular how to deal with different ethics requirements at different institutions. Second, we look at whether parallel and distributed computational experiments are more or less reproducible than serial ones. Third, we consider reproducible computational experiments from fields outside computer science. Our final case study looks at whether reproducibility for one researcher is the same as for another, by having an author attempt to have others reproduce their own, reproducible, paper. This paper is open, executable and reproducible: the whole process of writing this paper is captured in the source control repository hosting both the source of the paper, supplementary codes and data; we are providing setup for several experiments on which we were working; finally, we try to describe what we have achieved during the week of the school in a way that others may reproduce (and hopefully improve) our experiments.

연구 동기 및 목표

• 다양한 분야에서 계산 과학 연구의 재현 가능성 수준과 과제를 조사하기 위해.
• 특히 윤리적, 법적, 기술적 장애 요인을 포함한 체계적 장애 요인을 규명하기 위해.
• 한 연구자가 재현 가능하다고 판단한 논문이 다른 사람에게도 전문 지식 없이 성공적으로 재현 가능한지 평가하기 위해.
• 버전 관리된 소스, 코드, 데이터 및 가상 머신을 통해 논문 자체가 완전히 재현 가능하게 만들 수 있는지의 가능성과 평가를 위해.
• 여름 학교에서의 실제 경험을 반영하여 재현 가능한 연구의 최선의 실천 방식을 환기하기 위해.

제안 방법

• 계산 과학의 실험 방법론에 대한 일주일간의 여름 학교 동안 사례 연구 4개를 수행하였다.
• 모든 변경 사항의 추적을 가능하게 하기 위해 버전 관리된 저장소(GitHub)를 활용하여 논문, 보조 코드, 데이터를 호스팅하였다.
• 재현 가능한 계산 환경을 확보하기 위해 가상 머신(Virtual Machines)을 도입하였으며, 핵심 실험에 대해 두 대의 VM을 배포하였다.
• 자동화가 불가능한 경우 수동 계산 단계까지 포함하여, 다른 이들이 결과를 재계산할 수 있도록 실험을 수행하고 문서화하였다.
• Sweave 및 동적 문서 생성과 같은 실행 가능한 논문 기법을 적용하였지만, 일부 표는 수동으로 입력되었다.
• 저자 주도의 재현을 포함하여 논문 자체의 연구 과정을 재현하는 메타-재현 가능성 접근을 시도하였다.

실험 결과

연구 질문

• RQ1 다른 기관의 윤리 승인 절차가 인간을 대상으로 하는 실험의 재현 가능성에 어떻게 영향을 미치는가?
• RQ2 비결정성, 자원 의존성, 복잡한 설정 등 추가적인 복잡성으로 인해 병렬 및 분산 계산 실험은 순차적 실험보다 본질적으로 재현 가능성이 떨어지는가?
• RQ3 환경 과학, 의학 등 비컴퓨터 과학 분야의 계산 실험은 어느 정도 재현 가능하며, 어떤 장애 요인이 발생하는가?
• RQ4 저자가 잘 문서화된 논문이 전문 지식 없이도 다른 연구자에 의해 성공적으로 재현 가능한가?
• RQ5 논문 자체의 개발 과정까지 포함해 전체 논문의 재현 가능성을 달성하는 데 실질적이고 체계적인 과제는 무엇인가?

주요 결과

• 윤리 승인 절차는 기관 간에 상당한 차이를 보이며, 조건이 잘 문서화되어 있더라도 인간 대상 실험에서 재현 가능성의 주요 장애 요인이 된다.
• 병렬 및 분산 실험은 비결정성, 자원 의존성, 복잡한 설정 등으로 인해 추가적인 재현 가능성 과제를 야기하지만, 본질적으로 덜 재현 가능하다고 볼 수는 없다.
• 비컴퓨터 과학 분야의 실험 재계산은 짧은 시간 내에 가능했지만, 법적 제약으로 인해 한 VM의 배포가 금지되어 핵심 장애 요인이 드러났다.
• 논문을 완전히 실행 가능하고 재현 가능하게 만들기 위한 노력에도 불구하고 일부 계산은 수동 실행이 필요했으며, 모든 데이터가 동적 재분석되지 않았다.
• 공개된 HCI 연구의 재현을 尝시한 결과, 심지어 잘 문서화된 작업이라도 암묵적인 가정, 누락된 맥락, 공유되지 않은 환경 설정으로 인해 재현에 실패할 수 있음을 확인하였다.
• 논문 자체의 재현 가능성은 부분적으로 성공하였다: GitHub와 VM을 통해 자료는 제공되지만, 법적 및 기술적 제약으로 모든 구성 요소의 완전한 배포 및 자동화가 불가능하다.