[논문 리뷰] First Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE): Submission and Peer-Review Process, and Results

Daniel S. Katz, Gabrielle Allen외 3명|arXiv (Cornell University)|2013. 11. 14.

Scientific Computing and Data Management참고 문헌 39인용 수 6

한 줄 요약

이 논문은 제1회 지속 가능한 과학 소프트웨어를 위한 워크숍(WSSSPE)에서 58편의 자가 게재 논문이 경량화된 Google 폼 절차를 통해 검토된, 혁신적인 커뮤니티 기반 피어 리뷰 모델을 제시한다. 결과적으로 54편의 논문이 수락되었다. 이 접근법은 광범위한 참여, 개방형 액세스, 공동 성과를 중시하였으며, 결과는 arXiv에 암호화 보관되었고, 공동 저널 게재 계획도 수립되었다.

ABSTRACT

This technical report discusses the submission and peer-review process used by the First Workshop on on Sustainable Software for Science: Practice and Experiences (WSSSPE) and the results of that process. It is intended to record both this alternative model as well as the papers associated with the workshop that resulted from that process.

연구 동기 및 목표

• 과학 소프트웨어 개발, 유지보수, 교육 분야의 과제를 논의하기 위한 지속 가능하고 포괄적인 포럼 구축
• 과학 연구에서 소프트웨어 기여에 대한 공식적 인정과 장기적 가시성 부족 문제 해결
• 개방형 참여와 공동 지식 구축을 지원하는 대안적 피어 리뷰 및 출판 모델 실험
• 워크숍 결과를 문서화하고 보존하여 향후 참고 및 저널 게재를 위한 기반 마련
• Creative Commons 라이선스 및 arXiv 또는 figshare를 통한 제3자 보관을 장려하여 개방 과학 관행 촉진

제안 방법

• 리뷰어가 관련성 및 독창성 점수를 수집하기 위해 Google 폼을 활용한 경량화된 웹 기반 피어 리뷰 시스템 사용
• 참여를 장려하기 위해 높은 수용률을 반영하여 관련성 및 독창성 기준으로 58건 중 54건을 수락
• 워크숍 토론을 체계화하기 위해 수락된 논문들을 주제별 패널(개발, 산업 모델, 교육)로 분류
• 모든 논문을 arXiv나 figshare에 DOI와 함께 보관하고 재사용 및 재편집을 장려하기 위해 Creative Commons 라이선스 권장
• 워크숍에서 도출된 통합 토론과 공유된 통찰을 기반으로 공동 저널 게재 계획 수립
• 논문, 리뷰, 토론 스레드를 연결하는 상호작용형 온라인 플랫폼 구축을 통한 지속적인 커뮤니티 참여 유도

실험 결과

연구 질문

• RQ1 최소한의 행정 부담으로 과학 소프트웨어 워크숍에 지속 가능하고 포괄적인 피어 리뷰 프로세스를 어떻게 설계할 수 있는가?
• RQ2 소프트웨어 전문가가 위치 및 경험 보고서를 기여할 경우 그에 대한 인정과 장기적 가시성을 확보할 수 있는 메커니즘은 무엇인가?
• RQ3 커뮤니티 기반 워크숍이 효과적으로 공식적이고 인용 가능한 학술적 결과물로 전환될 수 있는가?
• RQ4 오픈 액세스 레포지터리와 DOI는 워크숍 기여의 지속 가능성과 탐색 가능성 향상에 어떤 역할을 하는가?
• RQ5 다양하고 비전통적인 기여를 가진 워크숍 이후 공동 저술을 어떻게 촉진할 수 있는가?

주요 결과

• 워크숍에는 총 58건의 제출이 있었으며, 93%의 저자가 arXiv나 figshare를 사용해 자가 게재하여 개방형 액세스 관행의 강한 수용을 보였다.
• 총 181건의 피어 리뷰가 수행되었으며, 평균 3.12건의 리뷰가 매 논문당 이루어져, 평가 과정에서 활발한 커뮤니티 참여가 이루어졌음을 입증했다.
• 54편의 논문이 발표 및 토론을 위해 수락되었으며, 이는 93%의 수용률을 반영하여 포괄적 참여를 목표로 한 데 합리적인 수준임이 확인되었다.
• 논문들은 소프트웨어 개발, 산업 및 경제 모델, 교육 및 훈련의 세 가지 주제 패널로 분류되어 체계적인 토론과 패널 구성에 기여했다.
• 조직위원회는 현재의 도구인 arXiv가 부분적으로만 해결책을 제공하므로, 워크숍 기여물 전용의 커뮤니티 색인 서비스가 필요하다고 결론 내렸다.
• 워크숍 이후 공동 저술이 계획되어 있으며, 다수의 저자와 함께 피어 리뷰 저널에 제출할 가능성이 있으며, 이는 워크숍 기여 결과에 대한 공식적 학술적 인정으로 이어지는 길을 제시한다.