[논문 리뷰] Standing Together for Reproducibility in Large-Scale Computing: Report on reproducibility@XSEDE

Doug L. James, Nancy Wilkins‐Diehr외 53명|arXiv (Cornell University)|2014. 12. 17.

Scientific Computing and Data Management참고 문헌 3인용 수 9

한 줄 요약

이 논문은 재현성@XSEDE 워크숍의 결과를 요약하며, 대규모 계산 연구에서 재현 가능성을 보장하기 위해 기관 및 개인의 책임을 강조한다. 개선된 문서화, 시스템 수준의 기록 추적, 협업 최적 실천 방식, 게이트웨이 개발 등의 실행 가능한 전략을 제안하며, 재현 가능한 연구 분야에서 뛰어난 성과를 기록한 연구자를 기리는 연간 상을 제안한다.

ABSTRACT

This is the final report on reproducibility@xsede, a one-day workshop held in conjunction with XSEDE14, the annual conference of the Extreme Science and Engineering Discovery Environment (XSEDE). The workshop's discussion-oriented agenda focused on reproducibility in large-scale computational research. Two important themes capture the spirit of the workshop submissions and discussions: (1) organizational stakeholders, especially supercomputer centers, are in a unique position to promote, enable, and support reproducible research; and (2) individual researchers should conduct each experiment as though someone will replicate that experiment. Participants documented numerous issues, questions, technologies, practices, and potentially promising initiatives emerging from the discussion, but also highlighted four areas of particular interest to XSEDE: (1) documentation and training that promotes reproducible research; (2) system-level tools that provide build- and run-time information at the level of the individual job; (3) the need to model best practices in research collaborations involving XSEDE staff; and (4) continued work on gateways and related technologies. In addition, an intriguing question emerged from the day's interactions: would there be value in establishing an annual award for excellence in reproducible research?

연구 동기 및 목표

• 대규모 계산 연구에서 결과를 검증하거나 재현하기가 어려운 상황이 늘어나는 문제에 대응한다.
• XSEDE와 같은 슈퍼컴퓨터 센터가 재현 가능한 연구 관행을 촉진하고 지원하는 데서 맡는 고유한 역할을 규명한다.
• 다른 사람이 실험을 재현할 수 있도록 설계할 수 있도록 연구자 개인이 투명성을 핵심 원칙으로 삼아 실험을 기획하도록 유도한다.
• 연구 생애 주기 전반에 재현 가능성을 통합하기 위해 필요한 핵심 기술적 및 문화적 전환을 부각한다.
• 재현 가능한 연구 분야에서 뛰어난 성과를 기록한 연구자를 기리는 인stit루션 수준의 인정 제도(예: 연간 상)의 타당성을 탐색한다.

제안 방법

• XSEDE14 컨퍼런스 기간 동안 1일간의 토론 중심 워크숍을 개최하여 다양한 연구자 및 이해관계자로부터 통찰을 확보했다.
• 대규모 계산 환경에서의 재현 가능성과 관련된 과제, 도구, 최적 실천 방식에 대한 의견을 수집했다.
• 개별 작업 수준에서 빌드 및 실행 시간의 기록을 캡처하는 시스템 수준의 도구를 제안하여 투명성을 향상시켰다.
• 연구 워크플로우에 재현 가능성을 통합하기 위해 문서화 및 교육 프로그램의 중요성을 강조했다.
• XSEDE 소속 직원과 외부 연구자 간의 협업에서 최적 실천 방식을 모델링할 것을 주장했다.
• 재현 가능한 연구 관행을 지원하는 플랫폼으로서 과학적 게이트웨이의 개발 및 개선을 탐색했다.

실험 결과

연구 질문

• RQ1 슈퍼컴퓨터 센터인 XSEDE는 대규모 계산 프로젝트 전반에서 재현 가능한 연구를 적극적으로 촉진하고 지원하기 위해 어떤 방식으로 기여할 수 있는가?
• RQ2 다른 사람이 의미 있게 재현할 수 있도록 하기 위해 계산 실험을 보다 의미 있게 만들기 위해 필요한 기술적 및 절차적 개선은 무엇인가?
• RQ3 표준화된 문서화 및 교육 프로그램이 고성능 계산 환경에서 재현 가능성의 장벽을 어느 정도 줄일 수 있는가?
• RQ4 시스템 수준의 기록 추적 도구는 계산 워크플로우의 투명성과 감사 가능성 향상에 어떤 역할을 하는가?
• RQ5 재현 가능한 연구 분야에서 뛰어난 성과를 기록한 연구자를 기리는 연간 상은 과학 공동체에서 최적 실천 방식을 정착시키고 유도하는 데 도움이 될 수 있는가?

주요 결과

• 특히 슈퍼컴퓨터 센터를 포함한 조직적 이해관계자들은 인프라, 정책 및 지원을 통해 재현 가능성을 주도할 수 있는 유일무이한 위치에 있다.
• 연구자들은 재현 가능성을 고려해 실험을 설계하는 투명성의 사고방식을 가져야 하며, 이를 핵심 원칙으로 삼아야 한다.
• 개별 작업 수준에서의 빌드 및 실행 시간 기록을 캡처하는 시스템 수준의 도구는 계산 워크플로우를 추적하고 재현 가능성을 보장하는 데 필수적이다.
• 개선된 문서화 및 교육은 재현 가능한 연구 관행의 광범위한 도입을 가능하게 하는 핵심 요소이다.
• XSEDE 지원 협업에서 최적 실천 방식을 모델링하는 것은 다른 연구 기관이 따라할 수 있는 범용 템플릿이 될 수 있다.
• 재현 가능한 연구 분야에서 뛰어난 성과를 기록한 연구자를 기리는 연간 상을 제안하며, 이는 높은 수준의 투명성과 연구 품질을 장려하는 데 기여할 수 있다.