[논문 리뷰] Software development practices in academia: a case study comparison

Derek Groen, Xiaohu Guo외 3명|arXiv (Cornell University)|2015. 06. 17.

Scientific Computing and Data Management참고 문헌 25인용 수 5

한 줄 요약

이 연구는 9년에 걸쳐 네 개의 오픈소스 과학 소프트웨어 코드에서 소프트웨어 개발 관행을 분석하며, 팀의 진화와 공학적 관행을 과학적 논문 출판 수와 연관지어 분석한다. 연구 결과, 개발 노력은 약 3년 후에 측정 가능한 과학적 성과를 낳으며, 팀 성장 과정에서 테스트 주도 개발과 코드 리뷰와 같은 관행이 도입되고, 일시적인 학술 팀임에도 불구하고 장기적인 영향을 유지함을 확인하였다.

ABSTRACT

Academic software development practices often differ from those of commercial development settings, yet only limited research has been conducted on assessing software development practises in academia. Here we present a case study of software development practices in four open-source scientific codes over a period of nine years, characterizing the evolution of their respective development teams, their scientific productivity, and the adoption (or discontinuation) of specific software engineering practises as the team size changes. We show that the transient nature of the development team results in the adoption of different development strategies. We relate measures of publication output to accumulated numbers of developers and find that for the projects considered the time-scale for returns on expended development effort is approximately three years. We discuss the implications of our findings for evaluating the performance of research software development, and in general any computationally oriented scientific project.

연구 동기 및 목표

• 학술 환경에서 소프트웨어 개발 관행이 시간이 지남에 따라 어떻게 변화하는지 조사하기 위해.
• 오픈소스 과학 소프트웨어에서 개발 노력, 팀 규모, 과학적 논문 출판 수와의 관계를 평가하기 위해.
• 테스트 주도 개발과 코드 리뷰와 같은 소프트웨어 공학 관행이 학술 소프트웨어 프로젝트에서 얼마나 효과적인지 평가하기 위해.
• 연구 소프트웨어에서 소프트웨어 개발 투자와 과학적 영향 사이의 시간 지연을 이해하기 위해.
• 학술 소프트웨어 프로젝트 평가 및 자금 지원을 위한 근거 기반 권고안을 제공하기 위해.

제안 방법

• Chaste, HemeLB, Fluidity, ESPResSo 네 개의 오픈소스 과학 소프트웨어 프로젝트에 대한 종단적 사례 연구를 수행하였다.
• 9년 간의 버전 제어 데이터, 논문 기록, 팀 구성 정보를 수집하고 분석하였다.
• 프로젝트 수명 주기 동안 테스트 주도 개발, 코드 리뷰, 지속적 통합과 같은 소프트웨어 공학 관행의 도입을 추적하였다.
• 통계 분석을 통해 개발 노력과 논문 출판 수의 상관관계를 분석하고, 시간 지연된 영향을 측정하였다.
• 팀 규모 변화를 개발 전략의 변화와 관행 도입의 지표로 사용하였다.
• 저자 명시 패턴과 논문 출판 속도 분석을 통해 소프트웨어 기여의 과학적 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 팀 규모와 구성이 변화함에 따라 학술 소프트웨어 프로젝트에서 소프트웨어 개발 관행은 어떻게 변화하는가?
• RQ2 소프트웨어 개발 투자와 측정 가능한 과학적 논문 출판 수 사이의 시간 지연은 얼마인가?
• RQ3 테스트 주도 개발과 코드 리뷰와 같은 소프트웨어 공학 관행이 과학적 생산성 향상과 얼마나 관련이 있는가?
• RQ4 일시적인 학술 팀은 소프트웨어 공학 관행의 지속 가능성과 도입에 어떤 영향을 미치는가?
• RQ5 이 연구 결과는 연구 소프트웨어 프로젝트 평가 및 자금 지원에 어떤 함의를 갖는가?

주요 결과

• 학술 소프트웨어 프로젝트에서 개발 노력의 수익 기간은 약 3년이며, 이 시간 지연 후에 논문 출판 수가 최고조에 이른다.
• 팀 규모가 증가할수록 테스트 주도 개발과 코드 리뷰와 같은 개발 관행이 더 자주 도입되며, 도입된 이후에는 거의 다시 포기되지 않는다.
• 과학적 논문 출판 수는 개발 노력과 강하게 상관되지만, 4년 또는 5년 전의 투자와 비교할 경우 상관관계가 크게 약화된다.
• 많은 핵심 개발자들이 자신의 소프트웨어를 사용해 생성된 논문에서 주요 저자로 나타나지 않으며, 이는 영향력이 간접적이며 일반적으로 후속 사용자를 통해 매개된다는 것을 시사한다.
• 특히 단기 보조금을 위한 경우, 과학적 영향을 정확히 평가하기 위해 최종 프로젝트 평가를 최소 3년 정도로 연기할 것을 제안한다.
• 소프트웨어 영향 평가를 위해 피어 리뷰된 논문 외에도 문서화된 기능, 시뮬레이션 데이터셋, 프리프린트와 같은 초도 출력물을 고려해야 한다.