[論文レビュー] First Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE): Submission and Peer-Review Process, and Results

Daniel S. Katz, Gabrielle Allen+3 more|arXiv (Cornell University)|Nov 14, 2013

Scientific Computing and Data Management参考文献 39被引用数 6

ひとこと要約

本論文は、第1回持続可能な科学ソフトウェアのためのワークショップ（WSSSPE）における、コミュニティ主導のpeer-reviewモデルを提示する。58件の自己発行論文が、軽量なGoogleフォームを用いたプロセスでレビューされ、54件の採択が得られた。このアプローチは、広範な参加、オープンアクセス、共同成果の強調を特徴とし、結果はarXivにアーカイブされ、共同でのジャーナル出版の計画が立てられている。

ABSTRACT

This technical report discusses the submission and peer-review process used by the First Workshop on on Sustainable Software for Science: Practice and Experiences (WSSSPE) and the results of that process. It is intended to record both this alternative model as well as the papers associated with the workshop that resulted from that process.

研究の動機と目的

• 科学的ソフトウェア開発、保守、教育における課題を議論する持続可能で包摂的なフォーラムを確立すること。
• 科学的研究におけるソフトウェア寄与の公式な認識と長期的可視性の欠如に対処すること。
• オープン参加と共同知識構築を支援する代替的なpeer-reviewおよび出版モデルを実験すること。
• ワークショップの成果を文書化・保存し、将来的な参照およびジャーナル出版のための基盤とすること。
• クリエイティブ・コモンズライセンスの推奨と、arXiv や figshare による第三者アーカイブを含む、オープンサイエンスの実践を促進すること。

提案手法

• レビュアーから関連性および独自性のスコアを収集するため、Googleフォームを用いた軽量なウェブベースのpeer-reviewシステムを活用した。
• 関連性および独自性に基づき、58件の提出のうち54件を採択し、広範な参加を促進するため高い採択率を実現した。
• ワークショップの議論を構造化するため、採択論文を「開発」「産業モデル」「教育」のテーマ別パネルに分類した。
• すべての論文をarXiv や figshare にアーカイブし、DOIを付与し、再利用および再編集を促すためにクリエイティブ・コモンズライセンスの推奨を行った。
• ワークショップからの統合的議論と共有された知見に基づき、共同ジャーナル出版を計画した。
• 論文、レビュー、議論スレッドをリンクするインタラクティブなオンラインプラットフォームを構築し、継続的なコミュニティ参加を促進した。

実験結果

リサーチクエスチョン

• RQ1 最小限の管理的負担で、科学的ソフトウェアワークショップに持続可能で包摂的なpeer-reviewプロセスを設計するにはどうすればよいか？
• RQ2 ソフトウェア開発者らが位置報告や経験報告を寄与する際の認識と長期的可視性を保証するメカニズムは何か？
• RQ3 コミュニティ主導のワークショップが、効果的に公式で引用可能な学術的出力に移行するにはどうすればよいか？
• RQ4 オープンアクセスリポジトリとDOIは、ワークショップの成果の持続可能性と検索可能性をどのように向上させるか？
• RQ5 多様で非伝統的な貢献を持つワークショップの後に、共同での論文作成をどのように促進できるか？

主な発見

• ワークショップには58件の提出があり、93%の著者がarXiv や figshare を用いて自己発行した。これは、オープンアクセス実践の強い受容を示している。
• 合計181件のpeer-reviewが実施され、論文1件あたり平均3.12件のレビューがなされた。これは、評価プロセスにおけるコミュニティ参加の活発さを示している。
• 54件の論文が発表および議論の対象となった。採択率は93%であり、包摂的参加を目的としたものとして妥当であると判断された。
• 論文は「ソフトウェア開発」「産業および経済モデル」「教育およびトレーニング」の3つのテーマ別パネルに分類され、議論の構造化とパネル形成を支援した。
• 主催者らは、現在のarXivのようなツールでは部分的解決にとどまることから、ワークショップ成果物のための専用のコミュニティインデックスサービスの必要性を結論づけた。
• ワークショップ後の共同出版が計画されており、複数の著者によるもので、peer-reviewedジャーナルへの提出が想定されている。これは、ワークショップ成果物に対する公式な学術的認識への道筋を示している。