[論文レビュー] Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2): Submission, Peer-Review and Sorting Process, and Results

Daniel S. Katz, Gabrielle Allen+7 more|arXiv (Cornell University)|Nov 13, 2014

Scientific Computing and Data Management参考文献 19被引用数 6

ひとこと要約

本論文は、第2回持続可能な科学ソフトウェア研究会（WSSSPE2）で採用された革新的な提出、同行レビュー、共同主題グループ化プロセスを記錣している。本研究では、レビューにEasyChairを、主題別論文クラスタリングにコミュニティ主導のツール（well-sorted）を活用した。主な貢献は、実行可能な成果、コミュニティ参加、およびarXivやフォローアップ出版を通じた長期的文書化を重視する、スケーラブルで透明性があり包括的な科学ソフトウェア研究会の組織モデルである。

ABSTRACT

This technical report discusses the submission and peer-review process used by the Second Workshop on Sustainable Software for Science: Practice and Experiences (WSSSPE2) and the results of that process. It is intended to record both the alternative submission and program organization model used by WSSSPE2 as well as the papers associated with the workshop that resulted from that process.

研究の動機と目的

• 幅広いコミュニティ参加を促進する、スケーラブルで包括的かつ透明性のある科学ソフトウェア研究会の組織プロセスを開発すること。
• ソフトウェアの持続可能性に関する実行可能な改善策に焦点を当てた、短い（4ページ）実務志向の論文を受け入れることで、提出の障壁を低減すること。
• 主催者による一時的なキュレーションにとどまらず、コミュニティからの入力を通じて論文を共同で主題別にグループ化すること。
• プロセスと成果を永続的かつ引用可能な形で文書化することで、貢献者への認識と評価を保証すること。
• インタラクティブセッション、ブレイクアウトリソース、フォローアップ出版を通じて、実行可能な成果を生み出すこと。

提案手法

• 自動的な提出、レビュアーの希望投票、同行レビューの割り当てを可能にするために、EasyChairを活用し、構造的かつ公平なレビュー配分を確保した。
• 内容と関心に基づいて、コミュニティ主導の論文グループ化システム（well-sorted）を実装し、提出物を主題別トラックに共同でクラスタリングした。
• すべての提出物を第三者サービス（arXiv や figshare）を介してアーカイブし、DOIを付与することを義務付け、共有と再利用を促進するため、クリエイティブ・コモンズライセンスの推奨を行った。
• キーノート講演、ライトニングトーク、およびグループ討議セッションを含む研究会を設計し、グループ化された論文から導き出された5つの主要テーマに焦点を当てた。
• プロセスと成果を技術的レポートとして文書化し、研究会参加者を含むフォローアップの査読付き出版を計画した。
• 形式的査読とコミュニティキュレーションを組み合わせたハイブリッドモデルを採用し、純粋な理論的貢献よりも実行可能な知見を優先した。

実験結果

リサーチクエスチョン

• RQ1 持続可能な科学ソフトウェアに関する研究会を、コミュニティ参加と包括性を最大化する形でどのように組織できるか？
• RQ2 透明性があり、スケーラブルで共同作業可能な主題クラスタリングのメカニズムは何か？
• RQ3 同行レビューとコミュニティの意見を統合することで、研究会の成果の質と関連性をどのように向上できるか？
• RQ4 永続的識別子（DOI）とオープンライセンスは、研究会の貢献の長期的可視性と再利用性を確保するために果たす役割は何か？
• RQ5 研究会の組織プロセス自体が、持続可能なソフトウェア開発の実践のモデルとして果たす役割は何か？

主な発見

• 合計31件の提出が届けられ、そのうち30件がarXiv や figshare を用いて自己アーカイブされ、DOIが付与された。
• 論文1件あたり平均4.9件のレビューが行われ、1人のレビュアーあたり平均4.1件の論文を評価しており、レビュアーの高い関与度が示された。
• コミュニティ主導の主題グループ化プロセスにより、論文が5つの主要テーマ（評価制度、再現性、ソフトウェアテストなど）に効果的にクラスタリングされた。
• 研究会のプロセスと成果は技術的レポートとして文書化され、arXivを通じて公開され、長期的なアクセス可能性と引用可能性が保証された。
• フォローアップ出版が計画されており、複数の著者が参加することで、研究会討議の包括的成果を捉え、広く共有する予定である。
• EasyChairとwell-sortedの活用により、スケーラブルで透明性があり、効率的なワークフローが実現され、組織負担が軽減されるとともに、コミュニティ主導の意識が高まった。