[논문 리뷰] Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2): Submission, Peer-Review and Sorting Process, and Results

Daniel S. Katz, Gabrielle Allen외 7명|arXiv (Cornell University)|2014. 11. 13.

Scientific Computing and Data Management참고 문헌 19인용 수 6

한 줄 요약

이 논문은 제2회 지속 가능한 소프트웨어를 위한 과학 워크숍(WSSSPE2)에서 사용된 혁신적인 제출, 동료 평가 및 공동 주제 그룹화 프로세스를 기록한 것으로, 리뷰에는 EasyChair를 활용하고 주제 기반 논문 군집화에는 커뮤니티 주도 도구(well-sorted)를 사용하였다. 주요 기여는 실천 가능한 결과, 커뮤니티 참여 및 arXiv 및 후속 출판물을 통한 장기적 문서화를 강조하는, 확장 가능하고 투명하며 포괄적인 과학 소프트웨어 워크숍 조직 모델이다.

ABSTRACT

This technical report discusses the submission and peer-review process used by the Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2) and the results of that process. It is intended to record both the alternative submission and program organization model used by WSSSPE2 as well as the papers associated with the workshop that resulted from that process.

연구 동기 및 목표

• 광범위한 커뮤니티 참여를 장려하는 확장 가능하고 포용적이며 투명한 과학 소프트웨어 워크숍 조직 프로세스를 개발하기 위해.
• 지속 가능한 소프트웨어 향상에 초점을 맞춘 실천 가능한 4페이지 이내의 짧은 논문을 수락하여 제출 장벽을 줄이기 위해.
• 조직자 단독의 임의적 정렬을 넘어서 커뮤니티의 참여를 통해 공동 주제 그룹화를 가능하게 하기 위해.
• 지속 가능한 인용 가능한 형태로 과정과 결과를 문서화하여 기여자에게 공식적인 인정과 신뢰를 부여하기 위해.
• 인터랙티브 세션, 분과 세션 및 후속 출판물을 통해 실천 가능한 결과를 도출하기 위해.

제안 방법

• 자동화된 제출, 리뷰어 투표 및 동료 평가 배정을 보장하기 위해 EasyChair를 활용하여 체계적이고 공정한 평가 배분을 실현하였다.
• 콘텐츠와 관심사 기반으로 제출물을 주제 트랙으로 공동으로 군집화하는 커뮤니티 주도의 논문 그룹화 시스템(well-sorted)을 구현하였다.
• 모든 제출물이 제3자 서비스(arXiv 또는 figshare)를 통해 아카이빙되고 DOI가 부여되며, 공유 및 재혼합을 지원하기 위해 Creative Commons 라이센스를 권장하였다.
• 5개의 핵심 주제를 포함한 논문 군집화 결과를 바탕으로 기조 연설, 라이트닝 테일즈 및 분과 세션으로 구성된 워크숍을 기획하였다.
• 전체 과정과 결과를 기술한 기술 보고서를 작성하였으며, 워크숍 참가자들이 참여하는 후속 피어리뷰 출판물을 계획하고 있다.
• 공식 평가와 커뮤니티 큐레이션을 조합한 하이브리드 모델을 통해 순수 이론적 기여보다 실천 가능한 통찰을 우선시하였다.

실험 결과

연구 질문

• RQ1 지속 가능한 과학 소프트웨어 워크숍을 어떻게 조직하여 커뮤니티 참여와 포용성을 극대화할 수 있는가?
• RQ2 다양한 제출물을 위한 투명하고 확장 가능하며 공동 주도적인 주제 기반 군집화를 지원할 수 있는 메커니즘은 무엇인가?
• RQ3 동료 평가와 커뮤니티 입력을 어떻게 통합하여 워크숍 결과의 품질과 관련성을 향상시킬 수 있는가?
• RQ4 지속 가능한 식별자(DOI)와 개방형 라이센스는 워크숍 기여물의 장기적 가시성과 재사용을 보장하는 데 어떤 역할을 하는가?
• RQ5 워크숍 조직 과정 자체가 지속 가능한 소프트웨어 개발 관행의 모델로 기능할 수 있는가?

주요 결과

• 총 31건의 제출이 들어왔으며, 그 중 30건이 arXiv 또는 figshare를 통해 자가 아카이빙 및 DOI 부여를 완료하였다.
• 논문당 평균 4.9개의 리뷰가 평균적으로 이루어졌고, 각 리뷰어는 평균 4.1편의 논문을 평가하여 높은 리뷰어 참여도를 보였다.
• 커뮤니티 주도의 주제 그룹화 프로세스는 논문을 신뢰성 있는 5개의 핵심 주제로 성공적으로 군집화하였으며, 이는 신뢰성, 재현 가능성 및 소프트웨어 테스트를 포함한다.
• 워크숍 과정은 기술 보고서로 문서화되었으며, arXiv를 통해 공개되어 장기적 접근성과 인용 가능성 보장하였다.
• 후속 출판물이 계획되어 있으며, 여러 저자가 참여하여 워크숍 토론의 집합적 결과를 캡처하고 널리 배포할 계획이다.
• EasyChair와 well-sorted의 사용은 조직적 부담을 줄이고 커뮤니티 소유감을 증가시키며, 확장 가능하고 투명하며 효율적인 워크플로우를 가능케 하였다.