[論文レビュー] A Survey on Reproducibility in Parallel Computing

Sascha Hunold|arXiv (Cornell University)|Nov 13, 2015

Advanced Data Storage Technologies参考文献 2被引用数 8

ひとこと要約

本サーベイは、31名のEuro-Par 2015参加者からの回答を分析することで、並列処理およびハイパフォーマンスコンピューティング分野における再現可能性の課題を調査している。再現可能性の問題に対する広範な認識が確認された一方で、コードやデータの共有といったベストプラクティスの採用は低く、リーダブルプログラミングやワークフローシステムなどの再現性を支援するツールやオープンソースライセンスの知識に大きなギャップが存在することが明らかになった。

ABSTRACT

We summarize the results of a survey on reproducibility in parallel computing, which was conducted during the Euro-Par conference in August 2015. The survey form was handed out to all participants of the conference and the workshops. The questionnaire, which specifically targeted the parallel computing community, contained questions in four different categories: general questions on reproducibility, the current state of reproducibility, the reproducibility of the participants' own papers, and questions about the participants' familiarity with tools, software, or open-source software licenses used for reproducible research.

研究の動機と目的

• 並列処理およびハイパフォーマンスコンピューティング分野における再現性の現状を評価すること。
• ソースコード、生データ、分析手順などの研究資料を共有するための障壁と動機を特定すること。
• 再現性を支援するツールやソフトウェアライセンスについて、研究者がどの程度熟知しているかを評価すること。
• HPCコミュニティにおいて、公開された実験を再現する際に直面する主な障壁を理解すること。
• 並列コンピューティング分野における再現性のある計算科学の今後の取り組みやベストプラクティスの整備を支援すること。

提案手法

• LimeSurveyを用いて、Euro-Par 2015会議で24問の匿名オンラインアンケートを実施した。
• 質問を4つのカテゴリに分類した：一般的な再現性への関心、現在の再現性の状態、個人の資料共有実態、ツール／ソフトウェアの熟悉度。
• 1人1名の参加者を保証するため、300枚のアンケートチケット（固有のトークン付）を配布し、有効回答は31件（回答率13％）を達成した。
• アンケート回答を分析して、コード／データ共有の傾向、ツール利用状況、機関方針の認識度を特定した。
• 定性的および定量的分析を用いて、再現性の課題とツール採用に関する回答を解釈した。
• 既存の再現性関連取り組みや計算科学分野における類似サーベイの文脈で、調査結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 並列コンピューティング分野の研究者が、自らの分野における再現性の現状をどのように認識しているか？
• RQ2 何パーセントの研究者が、論文に加えてソースコード、生の実験データ、データ分析手順を共有しているか？
• RQ3 研究者が研究資料（コード、データ、分析手順）を共有しない主な理由は何か？
• RQ4 ハイパフォーマンスコンピューティング分野で、公開された実験を再現する際に直面する主な障壁は何か？
• RQ5 研究者は、リーダブルプログラミングシステム、ワークフローマネージャ、オープンソースソフトウェアライセンスなどのツールについて、どの程度熟知しているか？

主な発見

• 90％を超える参加者が再現性のある研究に関心を示しており、問題に対する強い認識が確認された。
• 研究者の23％しか論文にソースコードを併記していないと報告しており、ベストプラクティスへの準拠が低いことが示された。
• 55％以上の研究者がGitHubなどの公開リポジトリ管理システムを用いてコードを共有しており、バージョン管理の部分的採用が確認された。
• 33％の回答者が統計ソフトウェアパッケージ（R や SPSS など）を定期的に使用していると回答しており、標準化されたツールの使用が限定的であることが示された。
• 71％の研究者がリーダブルプログラミングツール（knitr や org-mode など）を一度も使用したことがなく、84％が科学的ワークフローシステム（VisTrails や Kepler など）の経験がなかった。
• 19％の研究者が自機関のオープンソースライセンス方針を把握しており、26％がそのような方針が存在しないと報告しており、重大な知識のギャップが浮き彫りになった。