[논문 리뷰] "Share and Enjoy": Publishing Useful and Usable Scientific Models

Tom Crick, Benjamin A. Hall외 2명|arXiv (Cornell University)|2014. 09. 01.

Scientific Computing and Data Management참고 문헌 11인용 수 4

한 줄 요약

이 논문은 지속적 통합(CI) 시스템을 활용하여 재현 가능성을 보장함으로써 과학적 모델과 알고리즘의 공유, 테스트 및 검증을 자동화하는 통합 클라우드 기반 인프라를 제안한다. 벤치마크를 버전 관리된 자산으로 간주하고 코드 커밋 시 자동 실행을 트리거함으로써, 실시간으로 권위 있는 성능 비교를 가능하게 하여 계산 과학 분야에서 연구의 과부하를 줄이고 과학적 발견을 가속화한다.

ABSTRACT

The reproduction and replication of reported scientific results is a hot topic within the academic community. The retraction of numerous studies from a wide range of disciplines, from climate science to bioscience, has drawn the focus of many commentators, but there exists a wider socio-cultural problem that pervades the scientific community. Sharing code, data and models often requires extra effort; this is currently seen as a significant overhead that may not be worth the time investment. Automated systems, which allow easy reproduction of results, offer the potential to incentivise a culture change and drive the adoption of new techniques to improve the efficiency of scientific exploration. In this paper, we discuss the value of improved access and sharing of the two key types of results arising from work done in the computational sciences: models and algorithms. We propose the development of an integrated cloud-based system underpinning computational science, linking together software and data repositories, toolchains, workflows and outputs, providing a seamless automated infrastructure for the verification and validation of scientific models and in particular, performance benchmarks.

연구 동기 및 목표

• 계산 과학 분야에서 널리 퍼져 있는 재현성 위기를 해결하기 위해 과학적 모델과 알고리즘에 대한 접근성과 공유를 향상시키기 위해.
• 과학 연구에서 코드, 데이터, 모델 재사용을 저해하는 문화적 및 기술적 장벽을 줄이기 위해.
• 통합 클라우드 기반 지속적 통합(CI) 시스템을 통해 과학적 모델과 알고리즘의 검증 및 검증을 자동화하기 위해.
• 모델과 알고리즘이 함께 발전하고 검증 가능하며 공개 접근이 가능한 결과를 제공하는 지속 가능하고 확장 가능한 인프라를 구축하기 위해.
• 과학적 모델과 벤치마크를 연구의 일등 자산으로 재정의하여, 논문과 직접 연결된 실행 가능 구현과 함께 제공하기 위해.

제안 방법

• AWS, Google Cloud, Azure 등 클라우드 플랫폼을 활용하여 과학 워크로드를 필요에 따라 호스팅하고 실행하기 위해.
• Git과 같은 버전 관리 저장소를 활용하여 모델, 알고리즘, 벤치마크 세트를 일등 연구 자산으로 관리하기 위해.
• Jenkins, Visual Studio Online 등 지속적 통합(CI) 시스템을 통합하여 코드 또는 모델 업데이트 시 자동 실행을 트리거하기 위해.
• 벽시계 시간 이외의 표준화된 성능 메트릭을 정의하기 위해, 알고리즘 연산 수와 종료성, 안정성과 같은 구조적 성질을 우선시하기 위해.
• 모든 알고리즘 실행 결과를 모든 벤치마크에 대해 권위 있는, 시간이 기록된 출력으로 게재하기 위해.
• 공동으로 진화하는 공유 벤치마크 세트를 기반으로 새로운 알고리즘에 대한 자동 테스트 및 검증을 가능하게 하여, 최초 단계부터 재현 가능성을 보장하기 위해.

실험 결과

연구 질문

• RQ1 과학적 모델과 알고리즘을 어떻게 공유하고 검증할 수 있을까? 재현 가능성의 인지된 과부하를 줄일 수 있는가?
• RQ2 과학적 모델과 알고리즘의 자동화된 지속적 검증을 가능하게 하기 위해 어떤 인프라가 필요한가?
• RQ3 다양한 계산 과학 분야 간에 성능 메트릭을 표준화하고 의미 있게 만들 수 있는가?
• RQ4 클라우드 기반 지속적 통합은 과학 소프트웨어의 신뢰성과 재사용 가능성 향상에 어떤 역할을 할 수 있는가?
• RQ5 과학 공동체는 어떻게 벤치마크와 알고리즘이 공유된 자동화된 시스템에서 함께 개발되고 버전 관리되는 모델을 채택하도록 유도할 수 있는가?

주요 결과

• 통합 클라우드 기반 지속적 통합 시스템은 공유 벤치마크에서 과학적 알고리즘의 실행과 검증을 자동화하여 수동 작업과 실수를 크게 줄일 수 있다.
• 벽시계 시간 외에 운영 수와 종료성, 안정성과 같은 구조적 성질을 우선시할 경우, 벤치마크 결과는 더 신뢰할 수 있고 비교 가능해진다.
• 시스템은 실시간으로 권위 있는 결과를 벤치마크에 게재함으로써 과학적 비교를 위한 신뢰할 수 있고 버전 관리된 진리의 근원을 제공한다.
• 논문, 모델, 실행 구현을 자동 CI 파이프라인으로 연결함으로써 외부 검증을 강화하고 과학적 출력의 재사용을 지원한다.
• 제안된 인프라는 재현 가능성의 인지된 과부하를 줄이며, 이를 생산성 향상 도구로 재정의한다.
• 모델과 알고리즘이 공유된 자동화된 환경에서 개발되고 검증될 경우, 데이터 집약적 과학 탐구의 '네 번째 범주'가 실현 가능하다는 것이 이 모델을 통해 입증되었다.