[논문 리뷰] PLOS/Mozilla Scientific Code Review Pilot: Summary of Findings

Marian Petre, Greg Wilson|arXiv (Cornell University)|2013. 11. 11.

Genetics, Bioinformatics, and Biomedical Research참고 문헌 4인용 수 3

한 줄 요약

이 논문은 PLOS Computational Biology 논문의 과학적 소스 코드를 전문 소프트웨어 개발자가 검토하는 시범 프로그램을 평가한다. 도메인에 대한 숙련도 부족과 저자와의 직접적 상호작용이 없는 등 도전 과제가 있었음에도 불구하고, 과학자들과 개발자 모두가 이 과정의 가치를 느꼈으며, 향후 유사한 프로그램을 반복하고자 하는 강한 열정을 보이며, 계산 과학 연구의 재현 가능성을 향상시키는 데 코드 리뷰가 갖는 잠재력을 입증한다.

ABSTRACT

PLOS and Mozilla conducted a month-long pilot study in which professional developers performed code reviews on software associated with papers published in PLOS Computational Biology. While the developers felt the reviews were limited by (a) lack of familiarity with the domain and (b) lack of two-way contact with authors, the scientists appreciated the reviews, and both sides were enthusiastic about repeating the experiment.

연구 동기 및 목표

• 계산 생물학 분야의 과학 소프트웨어에 전문 코드 리뷰의 실현 가능성과 가치를 평가하기 위해.
• 코드 리뷰가 학술 연구에서 소프트웨어 품질과 재현 가능성에 어떤 영향을 미치는지 평가하기 위해.
• 개발자와 과학자 양측의 관점에서 도전 과제와 이점에 대해 이해하기 위해.
• 코드 리뷰를 과학적 출판 워크플로우에 통합할 잠재력을 탐색하기 위해.
• 이러한 모델이 과학 출판 분야에서 확대 또는 정착화될 수 있는지 규명하기 위해.

제안 방법

• PLOS Computational Biology에 게재된 논문의 소스 코드를 대상으로 한 달간의 시범 연구를 수행하였으며, 전문 소프트웨어 개발자가 코드를 검토하였다.
• 선택된 코드베이스는 저자로부터 제출되었으며, 사전 도메인 전문 지식이 없는 경험 많은 개발자들이 검토하였다.
• 표준 소프트웨어 공학 관행을 사용하여 정확성, 명확성, 유지를 중심으로 검토를 수행하였다.
• 검토 후 설문조사와 인터뷰를 통해 개발자와 저자로부터 피드백을 수집하였다.
• 피드백을 분석하여 공통적인 과제, 인식된 이점, 향후 개선을 위한 제안 사항을 도출하였다.
• qualitative 및 주제 분석을 사용하여 응답을 해석하고 검토 과정의 총체적 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 전문 코드 리뷰가 과학 소프트웨어 품질 향상에 얼마나 효과적인가?
• RQ2 도메인 전문 지식이 없는 상태에서 과학 소프트웨어를 검토할 때 개발자가 겪는 주요 과제는 무엇인가?
• RQ3 과학자들은 연구 소프트웨어에 대해 외부 코드 리뷰의 가치를 어떻게 평가하는가?
• RQ4 개발자와 저자 간의 소통이 코드 리뷰의 효과성에 어떤 역할을 하는가?
• RQ5 코드 리뷰 과정이 과학 출판 워크플로우에 지속 가능하게 통합될 수 있는가?

주요 결과

• 개발자들은 도메인에 대한 숙련도 부족이 리뷰의 깊이와 정확성에 심각한 제약을 가했다고 보고하였다.
• 저자와의 이원적 소통 부재로 인해 코드나 그 맥락에 대한 애매모호함을 해결할 수 없어, 리뷰의 효율성이 저하되었다.
• 과학자들은 피드백을 높이 평가하며, 코드 품질 향상과 재현 가능성 향상에 도움이 되었다고 느꼈다.
• 개발자와 과학자 모두가 시범 프로그램을 반복하고자 하는 강한 열정을 보이며, 이 과정의 가치를 인식하고 있었다.
• 시범 프로그램은 제한된 도메인 지식으로도 외부 코드 리뷰가 과학 소프트웨어 품질 향상에 기여할 수 있음을 입증하였다.
• 결과적으로, 체계적인 코드 리뷰가 학술 출판 분야에서 과학 소프트웨어 검증의 유의미한 구성 요소가 될 수 있음을 시사한다.