[논문 리뷰] A Survey on Reproducibility in Parallel Computing

Sascha Hunold|arXiv (Cornell University)|2015. 11. 13.

Advanced Data Storage Technologies참고 문헌 2인용 수 8

한 줄 요약

이 종합 검토는 31명의 Euro-Par 2015 참석자들의 응답을 분석하여 병렬 처리 및 고성능 계산 분야에서의 재현 가능성 문제를 조사한다. 연구 결과, 재현 가능성 문제에 대한 넓은 인식이 존재하지만, 소스 코드 및 데이터 공유와 같은 최선의 실천 방법은 낮은 수준의 수용을 보이며, 오픈소스 라이선스와 라이트러처 프로그래밍, 워크플로우 시스템과 같은 재현 가능성 도구에 대한 지식 격차가 뚜렷하게 드러났다.

ABSTRACT

We summarize the results of a survey on reproducibility in parallel computing, which was conducted during the Euro-Par conference in August 2015. The survey form was handed out to all participants of the conference and the workshops. The questionnaire, which specifically targeted the parallel computing community, contained questions in four different categories: general questions on reproducibility, the current state of reproducibility, the reproducibility of the participants' own papers, and questions about the participants' familiarity with tools, software, or open-source software licenses used for reproducible research.

연구 동기 및 목표

• 병렬 및 고성능 컴퓨팅 연구 분야에서 재현 가능성의 현재 상태를 평가하기 위해.
• 소스 코드, 원시 데이터, 분석 절차와 같은 연구 자료를 공유하기 위한 장벽과 동기를 규명하기 위해.
• 재현 가능한 연구를 지원하는 도구 및 소프트웨어 라이선스에 대한 연구자의 익숙함을 평가하기 위해.
• HPC 공동체에서 출판된 실험을 재현하는 데 있어 인식되는 장애 요인을 이해하기 위해.
• 병렬 컴퓨팅 분야에서 재현 가능한 계산 과학을 위한 향후 이니셔티브 및 최선의 실천 방법을 안내하기 위해.

제안 방법

• LimeSurvey를 사용하여 Euro-Par 2015 회의에서 익명 온라인 설문 조사 실시.
• 질문들을 네 가지 범주로 분류: 일반적인 재현 가능성 관심도, 현재의 재현 가능성 상태, 개인의 자료 공유 관행, 도구/소프트웨어에 대한 익숙함.
• 참가자 한 명당 한 번의 응답을 보장하기 위해 고유 토큰이 부여된 300장의 설문지 배포, 최종 31명의 완료 응답(응답률 13%) 확보.
• 소스 코드/데이터 공유, 도구 사용, 기관 정책 인지도의 추세를 파악하기 위해 설문 응답 분석.
• 정성적 및 정량적 분석을 활용하여 재현 가능성 문제와 도구 수용에 대한 응답을 해석.
• 기존의 재현 가능성 이니셔티브 및 계산 과학 분야의 관련 설문 조사와의 맥락에서 연구 결과 보고.

실험 결과

연구 질문

• RQ1 병렬 컴퓨팅 분야의 연구자들은 현재 자신의 분야에서 재현 가능성의 상태를 어떻게 인식하고 있는가?
• RQ2 연구자 중 얼마나 많은 비율이 논문과 함께 소스 코드, 원시 실험 데이터, 데이터 분석 절차를 공유하고 있는가?
• RQ3 연구자들이 자신의 연구 자료(소스 코드, 데이터, 분석 절차)를 공유하지 않는 주요 이유는 무엇인가?
• RQ4 고성능 컴퓨팅 분야에서 출판된 실험을 재현하는 데 있어 주요 장애 요인은 무엇인가?
• RQ5 연구자들은 라이트러처 프로그래밍 시스템, 워크플로우 관리자, 오픈소스 소프트웨어 라이선스와 같은 도구에 얼마나 익숙한가?

주요 결과

• 설문 응답자 중 90% 이상이 재현 가능한 연구에 관심을 표명하여 문제에 대한 강한 인식이 있음을 시사한다.
• 연구자 중 단 23%만 논문과 함께 소스 코드를 출판한다고 응답하여 최선의 실천 방법에 대한 이행 수준이 낮음을 시사한다.
• 55% 이상의 연구자가 GitHub와 같은 공개 복제 제어 시스템을 사용해 코드를 공유함으로써 버전 제어의 부분적 수용이 이루어지고 있음을 나타낸다.
• 응답자 중 단 33%만 통계 소프트웨어 패키지인 R이나 SPSS를 정기적으로 사용해 표준화된 도구의 사용이 제한됨을 보여준다.
• 놀랍게도 71%의 연구자가 knitr이나 org-mode와 같은 라이트러처 프로그래밍 도구를 사용한 적이 없으며, 84%는 VisTrails나 Kepler와 같은 과학적 워크플로우 도구를 사용해 본 적이 없다.
• 연구자 중 단 19%만 자신의 기관의 오픈소스 라이선스 정책을 알고 있으며, 26%는 해당 정책이 존재하지 않는다고 응답하여 심각한 지식 격차가 드러났다.