[논문 리뷰] Computational Reproducibility in Computational Social Science

David Schoch, Chung‐hong Chan외 2명|arXiv (Cornell University)|2023. 07. 04.

Scientific Computing and Data Management인용 수 5

한 줄 요약

이 논문은 계산 사회과학(CSS) 분야에서 계산적 재현가능성에 대한 계층적 체계를 제안하며, 참가자와 계산 환경에 기반해 1°CR(비공개), 2°CR(신뢰할 수 있는 제3자), 3°CR(비제한적) 수준의 재현가능성으로 나누어 제시한다. 이를 통해 전형적인 환경 기술(예: Dockerfile), 오픈소스 소프트웨어, 그리고 데이터, 코드, 환경의 사전 공유를 통해 완전한 재현가능성(3°CR)을 달성하고자 하며, 접근 불가능한 계산 자원과 제한된 데이터 접근성 등의 장벽을 해결하고자 한다.

ABSTRACT

Replication crises have shaken the scientific landscape during the last decade. As potential solutions, open science practices were heavily discussed and have been implemented with varying success in different disciplines. We argue that computational-x disciplines such as computational social science, are also susceptible for the symptoms of the crises, but in terms of reproducibility. We expand the binary definition of reproducibility into a tier system which allows increasing levels of reproducibility based on external verfiability to counteract the practice of open-washing. We provide solutions for barriers in Computational Social Science that hinder researchers from obtaining the highest level of reproducibility, including the use of alternate data sources and considering reproducibility proactively.

연구 동기 및 목표

• 계산 사회과학(CSS) 분야에서 계산적 재현가능성에 대한 명확하고 실행 가능한 기준이 부족하여, 오픈 사이언스 운동에도 불구하고 재현 위기의 위험에 노출되어 있는 문제를 해결한다.
• 기존의 재현가능성 정의에서 애매모호한 점을 해결하기 위해, 재현 검증을 수행하는 '참가자'(누가 검증을 수행하는가)와 검증이 이루어지는 '계산 환경'(어디서 검증이 이루어지는가)라는 두 가지 누락된 차원을 도입한다.
• 이중 정의에서 벗어나 점진적으로 검증 가능하고 외부적으로 재현 가능한 수준을 제공하는 재현가능성의 계층적 체계(1°CR에서 3°CR까지)를 개발한다.
• 제한된 데이터 접근성, 환경 문서 부족, 전용 또는 접근 불가능한 계산 자원에 대한 의존성 등의 계산 사회과학 분야에서의 주요 장벽을 식별하고 해결책을 제안한다.
• 연구자 경력 인정 및 저널 수준의 재현가능성 검증과 같은 인센티브를 통해 기관적·제도적 변화를 촉진하여, 재현가능성을 핵심 연구 기준으로 정착시킨다.

제안 방법

• 참가자(원저자, 신뢰할 수 있는 제3자, 또는 일반 대중)와 자료 접근의 제한성에 기반해 계산적 재현가능성의 3단계 체계(1°CR, 2°CR, 3°CR)를 제안한다.
• 모든 사람이 동일한 실행 환경을 재현할 수 있도록, 전체적인 기술적 환경 기술(예: Dockerfile)이 포함된 '비제한적 재현가능 자료' 개념을 도입한다.
• 운영체제, 소프트웨어 버전, 라이브러리, 종속성 등을 봉인하여 플랫폼 간 일관성 있는 실행을 보장하기 위해 컨테이너 기반 기술(예: Docker)의 사용을 권장한다.
• 장기적인 소프트웨어 아카이브와 컨테이너 기반 기술과의 호환성 덕분에 재현가능성을 향상시키기 위해 표준 리눅스 배포판(예: Ubuntu)의 사용을 권장한다.
• 데이터 공유가 불가능한 경우에도 연구자가 연구 컴프렌디움(연구 자료집)과 코드 작성의 최고 기준을 활용해 2°CR을 달성할 수 있도록 권장한다.
• 연구자 경력 인정(3°CR 작업에 대한 인정), 저널에서의 의무적 재현가능성 검증 등의 제도적 인센티브를 제안하여 재현가능성을 핵심 연구 기준으로 정착시키고자 한다.

Figure 1: A declarative description of a computational environment (Dockerfile) generated by rang: It pins down the operating system (Debian 5.0 "Lenny"), the system component (libxml2-dev), the R version (2.15.0), and all software libraries (slam, SparseM, Rcpp, tm, maxent) with their versions

실험 결과

연구 질문

• RQ1 기존의 2분법 정의에서 애매모호한 점이 존재하는 계산 사회과학 분야의 계산적 재현가능성을 더 정확하게 정의할 수 있는 방법은 무엇인가?
• RQ2 기존의 재현가능성 정의에서 누락된 핵심 차원은 무엇이며, 이러한 누락이 계산 결과의 검증 가능성에 어떤 영향을 미치는가?
• RQ3 계산 사회과학 분야의 연구자가 최고 수준의 재현가능성(3°CR)을 달성하는 데 방해가 되는 요인들은 무엇이며, 이를 극복할 수 있는 방법은 무엇인가?
• RQ4 다양한 시스템 간 일관되고 검증 가능한 실행을 보장하기 위해 계산 환경을 어떻게 기술하고 공유할 수 있는가?
• RQ5 계산 사회과학 연구에서 계산적 재현가능성을 표준적이고 인센티브 기반의 관행으로 만들기 위해 필요한 제도적·체계적 변화는 무엇인가?

주요 결과

• 논문은 참가자와 계산 환경을 핵심 차원으로 삼아 이중 정의에서 벗어난 계층적 재현가능성 체계(1°CR, 2°CR, 3°CR)를 수립함으로써 명확성을 확보한다.
• 비제한적 자료(데이터, 코드, 선언적 환경 기술(예: Dockerfile) 포함)가 공개되어 누구나 실행할 수 있을 때 최고 수준의 재현가능성(3°CR)이 달성된다.
• Dockerfile과 같은 선언적 환경 기술은 운영체제, 라이브러리, R 버전 등 모든 소프트웨어 구성 요소를 정확히 고정함으로써 일관된 실행을 보장하는 데 핵심적이다.
• 장기적인 소프트웨어 아카이브와 컨테이너 기술과의 호환성 덕분에 재현가능성을 향상시키기 위해 표준 리눅스 배포판(예: Ubuntu)의 사용을 권장한다.
• 데이터 공유가 불가능한 경우에도 신뢰할 수 있는 제3자 데이터 레지스트리 사용 또는 재현가능성 검증을 시행하는 저널에 제출함으로써 연구자는 여전히 2°CR을 달성할 수 있다.
• 논문은 3°CR을 달성하기 위해서는 제도적 변화가 필요하며, 이를 위해 3°CR을 성과 평가 기준으로 인정하고, 출판 과정에서의 재현가능성 검증을 의무화하는 등의 인센티브 제도를 마련해야 한다고 결론 내린다.

Figure 2: Recommended practices to achieve the maximum degree of computational reproducibility in different scenarios