[논문 리뷰] How to Read a Research Compendium

Daniel Nüst, Carl Boettiger외 1명|arXiv (Cornell University)|2018. 06. 11.

Scientific Computing and Data Management참고 문헌 8인용 수 6

한 줄 요약

이 논문은 연구 논문 독해를 위한 Keshav의 3단계 방법을 연구 컴프리헨시브(연구 컴프리헨시브: 코드, 데이터, 문헌을 통합한 패키지)로 확장하여, 기술적 복잡성보다 과학적 통찰을 우선시하는 체계적이고 반복적인 독서 단계를 도입한다. 이는 재현 가능한 연구 결과를 효율적으로 탐색하면서 투명성과 협업을 향상시킨다.

ABSTRACT

Researchers spend a great deal of time reading research papers. Keshav (2012) provides a three-pass method to researchers to improve their reading skills. This article extends Keshav's method for reading a research compendium. Research compendia are an increasingly used form of publication, which packages not only the research paper's text and figures, but also all data and software for better reproducibility. We introduce the existing conventions for research compendia and suggest how to utilise their shared properties in a structured reading process. Unlike the original, this article is not build upon a long history but intends to provide guidance at the outset of an emerging practice.

연구 동기 및 목표

• 기존의 정적 논문을 초월해 코드, 데이터, 문헌을 통합한 연구 컴프리헨시브에 맞는 체계적인 독서 전략의 필요성을 해결하기 위해.
• 기술적 세부사항에 휘말리지 않도록, 과학적 사고를 우선시하고 반복적인 접근 방식을 통해 연구 컴프리헨시브를 탐색하도록 돕기 위해.
• 독자 요구를 예측하고 사용성 향상을 통해 연구 컴프리헨시브 설계를 개선함으로써 저자들이 컴프리헨시브를 더 잘 설계할 수 있도록 지원하기 위해.
• 표준화된 독서 관행을 통해 계산 기반 연구에 깊이 관여할 수 있도록 함으로써 재현 가능성과 개방 과학을 촉진하기 위해.

제안 방법

• Keshav의 3단계 방법(개요, 세부 독서, 통합)을 연구 컴프리헨시브에 적용하기 위해 코드, 데이터, 계산 워크플로우를 점검하는 방식으로 통합한다.
• 과학적 목표를 먼저 이해하는 것을 우선시하는 체계적인 독서 절차를 도입한다.
• 반복적 탐색을 장려한다: 독자는 먼저 문헌과 그림을 살펴보고, 그 다음 코드와 데이터를 검토한 후, 마지막으로 결과를 테스트하거나 재현한다.
• 핵심 소프트웨어, 데이터셋, 도구의 인용을 따라가며 기초가 되는 연구 컴프리헨시브와 새로운 연구 컴프리헨시브를 식별하는 데 효과적인 횡방향 탐색 전략을 제안한다.
• ReScience, JOSS, rOpenSci와 같은 공동체 표준 및 저장소를 활용하여 고품질의 연구 컴프리헨시브를 찾고 평가하도록 권장한다.
• GitHub 기반의 라이ving 문서를 유지하여 공동체 피드백과 독서 관행의 지속적 개선을 지원한다.

실험 결과

연구 질문

• RQ1 코드, 데이터, 문헌을 하나의 패키지로 통합한 연구 컴프리헨시브를 효율적으로 읽고 이해할 수 있는 방법은 무엇인가요?
• RQ2 계산 기반 연구에 참여할 때 기술적 복잡성보다 과학적 통찰을 우선시할 수 있는 체계적인 독서 접근 방식은 무엇인가요?
• RQ3 저자들은 독자 요구를 충족하고 재현 가능성을 향상시키기 위해 어떻게 연구 컴프리헨시브를 설계할 수 있나요?
• RQ4 독자들은 여러 개의 연구 컴프리헨시브를 넘어서 핵심 소프트웨어, 데이터, 또는 방법을 식별하기 위해 어떤 전략을 사용할 수 있나요?
• RQ5 3단계 방법의 원칙은 계산 기반 연구에서 재현 가능성과 투명성을 지원하기 위해 어떻게 적응시킬 수 있나요?

주요 결과

• 적응된 3단계 방법은 연구 컴프리헨시브를 과학적 목표 평가 → 계산 구성 요소 검토 → 결과 테스트 또는 재현의 순서로 systematic하게 탐색할 수 있도록 한다.
• 반복적이고 과학적 사고를 우선시하는 접근 방식을 따르는 독자들은 기술적 세부사항에 빠지지 않고 연구 과정에 더 깊이 이해하게 된다.
• 소프트웨어, 데이터, 도구의 인용을 따라가는 횡방향 탐색은 기초가 되는 연구 컴프리헨시브와 새로운 연구 컴프리헨시브를 효과적으로 식별하는 데 효과적인 전략이다.
• 잘 문서화된 코드, 데이터, 종속성 요소를 포함한 연구 컴프리헨시브는 계산 기반 연구의 재현 가능성과 투명성을 크게 향상시킨다.
• ReScience, JOSS, rOpenSci와 같은 공동체 기반 플랫폼은 고품질의 연구 컴프리헨시브를 발견하고 평가하는 신뢰할 수 있는 입구 역할을 한다.
• GitHub 기반의 라이ving 문서 모델은 공동체 피드백과 협업적 개선을 통해 독서 관행의 지속적 정교화를 가능하게 한다.