[논문 리뷰] On the State and Importance of Reproducible Experimental Research in Parallel Computing

Sascha Hunold, Jesper Larsson Träff|arXiv (Cornell University)|2013. 08. 16.

Scientific Computing and Data Management참고 문헌 24인용 수 16

한 줄 요약

이 논문은 병렬 계산 연구에서 재현 가능성의 중요성이 핵심적이지만, 그에 비해 심각하게 간과되고 있다고 주장한다. 이는 신뢰할 수 있고 검증 가능하며 재사용 가능한 과학적 결과를 확보하는 데 필수적이다. 저자들은 실험 보고 방식의 개선을 주장하며, 사례 연구를 통해 VisTrails와 가상 머신 같은 도구가 재현 가능성을 향상시킬 수 있음을 보여주지만, 분야 전반에 걸쳐 이러한 접근 방식을 표준화하고 확장하는 데는 여전히 큰 과제가 남아 있음을 밝힌다.

ABSTRACT

Computer science is also an experimental science. This is particularly the case for parallel computing, which is in a total state of flux, and where experiments are necessary to substantiate, complement, and challenge theoretical modeling and analysis. Here, experimental work is as important as are advances in theory, that are indeed often driven by the experimental findings. In parallel computing, scientific contributions presented in research articles are therefore often based on experimental data, with a substantial part devoted to presenting and discussing the experimental findings. As in all of experimental science, experiments must be presented in a way that makes reproduction by other researchers possible, in principle. Despite appearance to the contrary, we contend that reproducibility plays a small role, and is typically not achieved. As can be found, articles often do not have a sufficiently detailed description of their experiments, and do not make available the software used to obtain the claimed results. As a consequence, parallel computational results are most often impossible to reproduce, often questionable, and therefore of little or no scientific value. We believe that the description of how to reproduce findings should play an important part in every serious, experiment-based parallel computing research article. We aim to initiate a discussion of the reproducibility issue in parallel computing, and elaborate on the importance of reproducible research for (1) better and sounder technical/scientific papers, (2) a sounder and more efficient review process and (3) more effective collective work. This paper expresses our current view on the subject and should be read as a position statement for discussion and future work. We do not consider the related (but no less important) issue of the quality of the experimental design.

연구 동기 및 목표

• 병렬 계산 연구에서 실험적 재현 가능성의 부족이 그 중요성과는 상반되어 심각하게 간과되고 있음을 부각시키기 위해.
• 재현 가능성은 신뢰할 수 있는 과학적 평가, 효율적인 동료 검토, 그리고 과학적 진전을 위한 필수 조건임을 주장하기 위해.
• 실제로 워크플로 시스템(VisTrails)과 가상 머신이 실험적 재현 가능성을 어떻게 향상시킬 수 있는지 보여주는 사례 연구를 제시하기 위해.
• 병렬 계산 분야에서 재현 가능한 연구를 위한 표준과 도구를 마련하기 위한 광범위한 논의를 시작하기 위해.
• 재현 가능성은 실험 연구의 핵심 구성 요소여야 하며, 후속 조치가 아닌 필수 요소여야 한다는 점을 강조하기 위해.

제안 방법

• 저자들은 병렬 계산 분야의 실험 연구 현황을 분석하여, 실험 설정에 대한 상세한 기술 부족과 소프트웨어 공유 부족을 집중적으로 다룬다.
• 계산 실험에 의존하는 다른 과학 분야에서의 재현 가능성 노력과 유사점을 도출한다.
• 분산 스케줄링 알고리즘에 대한 시뮬레이션 기반 실험 워크플로를 관리하고 문서화하기 위해 VisTrails를 사용한 사례 연구를 수행한다.
• 이식성과 환경 일관성을 확보하기 위해, 모든 필수 소프트웨어와 종속성들이 포함된 가상 머신(Virtual Machine, VM)을 생성하고 워크플로와 함께 배포한다.
• 워크플로는 VM에서 실행 가능하도록 설계되어, 다른 연구자가 수동 설정 없이도 결과를 재현할 수 있도록 한다.
• 외부 소스 코드의 버전 관리를 위해 Git를 사용하였으며, VisTrails는 외부 코드의 변경 사항을 추적하지 않기 때문이다.

실험 결과

연구 질문

• RQ1 현재 병렬 계산 연구의 실험 결과가 독립된 연구자에 의해 어느 정도 재현 가능한가?
• RQ2 실험적 병렬 계산 연구에서 재현 가능성을 저해하는 기술적 및 방법론적 과제는 무엇인가?
• RQ3 VisTrails와 가상 머신 같은 도구가 이 분야의 계산 실험 재현 가능성을 어떻게 향상시킬 수 있는가?
• RQ4 VM 기반 배포와 같은 현재의 재현 가능성 접근 방식의 실용적 한계는 무엇인가?
• RQ5 연구 공동체는 어떻게 표준화된 관행을 도입하여 병렬 계산 분야의 실험 작업을 더 신뢰할 수 있고 재사용 가능한 것으로 만들 수 있는가?

주요 결과

• 많은 병렬 계산 연구 논문들이 실험 설정에 대해 충분한 세부 정보를 제공하지 않아 결과 재현이 어려운 경우가 많다.
• 공유된 소프트웨어가 없고 문서화가 불완전하면 실험 결과의 신뢰성에 심각한 영향을 미친다.
• VisTrails 사용은 워크플로 추적과 모듈성 향상에 기여했지만, 외부 코드 변경 사항을 네이티브로 캡처하지 못하고 정교한 병렬 실행을 지원하지 못했다.
• 사전 설정된 가상 머신을 통해 다양한 환경에서 완전한 재현 가능성을 확보할 수 있었지만, VM 이미지의 크기와 노후화 가능성은 여전한 실용적 과제이다.
• 재현 가능성 확보는 현대 도구가 있더라도 시간과 노력, 협업이 필요한 고된 과정이다.
• 본 연구는 재현 가능성이 실제로 가능하다는 점을 확인했지만, 연구 문화와 도구 표준의 체계적 변화가 필요하다는 것을 보여준다.