[論文レビュー] On the State and Importance of Reproducible Experimental Research in Parallel Computing

Sascha Hunold, Jesper Larsson Träff|arXiv (Cornell University)|Aug 16, 2013

Scientific Computing and Data Management参考文献 24被引用数 16

ひとこと要約

この論文は、並列計算研究における再現可能性が、信頼できる、検証可能で再利用可能な科学的 findings を保証する上で不可欠であるにもかかわらず、きわめて軽視されていると主張している。著者たちは、実験的報告の実践を改善すべきだと提唱し、事例研究を通じて VisTrails や仮想マシンといったツールが再現可能性を向上させることを示しているが、分野全体にわたる標準化とスケーリングには依然として大きな課題が残っている。

ABSTRACT

Computer science is also an experimental science. This is particularly the case for parallel computing, which is in a total state of flux, and where experiments are necessary to substantiate, complement, and challenge theoretical modeling and analysis. Here, experimental work is as important as are advances in theory, that are indeed often driven by the experimental findings. In parallel computing, scientific contributions presented in research articles are therefore often based on experimental data, with a substantial part devoted to presenting and discussing the experimental findings. As in all of experimental science, experiments must be presented in a way that makes reproduction by other researchers possible, in principle. Despite appearance to the contrary, we contend that reproducibility plays a small role, and is typically not achieved. As can be found, articles often do not have a sufficiently detailed description of their experiments, and do not make available the software used to obtain the claimed results. As a consequence, parallel computational results are most often impossible to reproduce, often questionable, and therefore of little or no scientific value. We believe that the description of how to reproduce findings should play an important part in every serious, experiment-based parallel computing research article. We aim to initiate a discussion of the reproducibility issue in parallel computing, and elaborate on the importance of reproducible research for (1) better and sounder technical/scientific papers, (2) a sounder and more efficient review process and (3) more effective collective work. This paper expresses our current view on the subject and should be read as a position statement for discussion and future work. We do not consider the related (but no less important) issue of the quality of the experimental design.

研究の動機と目的

• 並列計算研究における実験的再現可能性の欠如が、その重要性にもかかわらず顕著であることを浮き彫りにすること。
• 再現可能性が、信頼できる科学的評価、効率的な同僚レビュー、集団的な科学的進歩にとって不可欠であることを主張すること。
• ワークフロー管理システム（VisTrails）と仮想マシンが、実際の並列計算研究における再現可能性をどのように向上させられるかを示す事例研究を提示すること。
• 並列計算における再現可能性研究のための標準とツールを確立するための広範な議論を開始すること。
• 再現可能性が実験的研究の根幹的要素であるべきであり、後から追加されるものではなく、核心的であるべきだと強調すること。

提案手法

• 著者たちは、並列計算における実験的研究の現状を分析し、詳細な実験記述や共有ソフトウェアの欠如に焦点を当てる。
• 計算実験に依存する他の科学分野における再現可能性の取り組みと類似点を明らかにする。
• 分散スケジューリングアルゴリズムのシミュレーションベースの実験ワークフローを管理・文書化するために VisTrails を用いた事例研究を実施する。
• 移植性と環境の一貫性を確保するため、すべての必要なソフトウェアと依存関係を含む仮想マシン（VM）を作成し、ワークフローと共に配布する。
• ワークフローが VM 上で実行可能であるように設計されており、他の研究者が手動での設定なしに結果を再現できるようにしている。
• 外部のソースコードのバージョン管理には Git を使用している。VisTrails は外部コードの変更を追跡しないため。

実験結果

リサーチクエスチョン

• RQ1 独立した研究者が、現在の並列計算研究における実験的結果をどの程度再現可能としているのか。
• RQ2 実験的並列計算研究における再現可能性を阻害する技術的および方法論的課題は何か。
• RQ3 VisTrails や仮想マシンといったツールが、この分野における計算実験の再現可能性をどのように向上させられるか。
• RQ4 VM ベースの配布のような現在のアプローチの実用的限界は何か。
• RQ5 研究コミュニティは、並列計算における実験的作業をより信頼性があり再利用可能なものにするために、標準化された実践をどのように採用すべきか。

主な発見

• 多くの並列計算研究論文は、実験環境の詳細を十分に提供しておらず、結果の再現が困難または不可能である。
• 共有ソフトウェアの欠如と不完全な文書化は、実験的発見の信頼性を著しく損なう。
• VisTrails の使用によりワークフローの追跡とモularity が向上したが、外部コードの変更をネイティブに記録する機能はなく、細粒度の並列実行もサポートしていない。
• 事前に設定済みの仮想マシンを作成することで、異なる環境間での完全な再現性が達成されたが、VM イメージの巨大さと潜在的な古さが実用的課題として残っている。
• 再現性は、現代のツールが用意されていても、時間と膨大な努力、協力体制を要するプロセスである。
• 本研究は、再現可能性が実際には達成可能であるが、研究文化とツール標準の体系的変化が不可欠であることを確認した。