[논문 리뷰] Quality and sustainability of software tools in neuroscience

Marc-Oliver Gewaltig, Robert C. Cannon|arXiv (Cornell University)|2012. 05. 14.

Scientific Computing and Data Management참고 문헌 20인용 수 3

한 줄 요약

이 논문은 신경과학 소프트웨어 도구 36종의 품질과 지속 가능성에 대해 평가하며, 성숙도, 문서화, 유지보수성 측면에서 핵심적인 격차를 밝혀내고, 연구자, 심사위원, 개발자가 소프트웨어 신뢰성과 연구 준비도를 향상시키기 위해 실천 가능한 체크리스트를 제공하기 위해 개발 모델과 최종 제품 분류 체계를 제안한다.

ABSTRACT

In computational neuroscience, the continual need for new software tools has led to the creation of software in a disparate and ad-hoc fashion with considerable overlap but little compatibility between different tools. Much of the resulting software is made freely available, but it is not always clear that it is sufficiently mature in terms of domain coverage, validity, documentation or usability, to be useful to other researchers. Software tools for scientific use should meet certain minimal conditions of correctness, usability and reliability. For databases and tools that are made publicly available, additional criteria of maintainability and sustainability should be met. We focused on 36 neuroscience software tools and asked how the culture and practice of software development affects the validity and trustworthiness of scientific software. We identified two sets of categories: one for how software is developed, and one for the end products of such work. The development models include pet projects driven by single individuals or small groups, collaborative projects, and projects that are driven with up-front funding. The end products can be classified as proof of concept work, private tools and public tools according to their accessibility and state of readiness for scientific work. Based on our findings we suggest ways in which the current practice of software development in computational neuroscience can be improved along with checklists for developers, reviewers, and scientists to help assess the quality and research readiness of a particular piece of software.

연구 동기 및 목표

• 계산 신경과학 분야에서 소프트웨어 개발 관행이 과학 소프트웨어의 타당성과 신뢰성에 미치는 영향을 조사하기 위해.
• 성숙도 측면에서 일반적인 결함, 즉 문서화, 사용성, 유지보수성 측면의 공통된 문제점을 밝혀내기 위해.
• 소프트웨어 도구를 개발 모델(개인 프로젝트, 협업형, 자금 지원형)과 최종 제품 유형(증명용 개념, 비공개, 공개)으로 분류하여 보다 효과적인 평가를 가능하게 하기 위해.
• 개발자, 심사위원, 과학자들이 소프트웨어 품질과 연구 준비도를 평가하기 위한 실질적인 체크리스트를 제공하기 위해.
• 구조화된 개발 및 평가 관행을 통해 신경과학 소프트웨어의 지속 가능성과 신뢰성을 향상시키기 위해.

제안 방법

• 다양한 개발 모델과 최종 제품 유형에 속하는 36종의 신경과학 소프트웨어 도구를 분석하였다.
• 가용성과 준비도 기준으로 도구를 분류: 증명용 개념, 비공개 도구, 공개 도구.
• 정확성, 사용성, 신뢰성, 유지보수성 기준으로 소프트웨어를 평가하였다.
• 문서화, 도메인 커버리지, 호환성 측면에서 도구 간 반복적인 문제를 파악하였다.
• 개발자, 심사위원, 과학자 전용으로 맞춤화된 체크리스트를 제안하였다.
• 장기적인 지속 가능성과 과학적 신뢰성 향상을 위해 소프트웨어 개발 문화를 개선할 것을 제안하였다.

실험 결과

연구 질문

• RQ1 다양한 소프트웨어 개발 모델(예: 개인 프로젝트, 자금 지원 프로젝트 등)이 신경과학 소프트웨어의 품질과 지속 가능성에 어떤 영향을 미치는가?
• RQ2 공개된 신경과학 소프트웨어 도구 중 얼마나 많은 도구가 정확성, 사용성, 신뢰성에 대한 최소 기준을 충족하는가?
• RQ3 기존 신경과학 소프트웨어 도구들 사이에서 문서화, 호환성, 유지보수성 측면에서 핵심적인 격차는 무엇인가?
• RQ4 소프트웨어의 성숙도와 가용성 기반으로 어떻게 더 나은 분류 체계를 구축할 수 있는가?
• RQ5 개발자, 심사위원, 과학자들이 소프트웨어 품질과 지속 가능성 평가에 사용할 수 있는 실질적인 체크리스트는 무엇인가?

주요 결과

• 많은 신경과학 소프트웨어 도구들이 호환성이나 겹침 관리 없이 비구조적으로 개발되어 있어 중복과 비효율성이 발생한다.
• 공개된 도구 중 상당수는 신뢰할 수 있는 과학적 사용을 위해 충분한 문서화, 사용성 지원, 성숙도를 확보하지 못하고 있다.
• 개인 프로젝트와 같은 개발 모델은 장기적으로 지속 가능하거나 유지보수가 가능한 도구로 이어지기 어려운 경우가 많다.
• 공개 도구는 무료로 제공되지만 장기적 유지보수성과 신뢰성 기준을 충족하지 못하는 경우가 빈번히 발생한다.
• 개발자, 심사위원, 과학자 전용으로 제안된 체크리스트는 소프트웨어 품질과 연구 준비도 평가를 위한 체계적인 프레임워크를 제공한다.
• 향상된 소프트웨어 개발 관행과 표준화된 평가 기준은 신경과학 소프트웨어의 신뢰성과 지속 가능성 향상에 상당한 기여를 할 수 있다.