[論文レビュー] Complications for Computational Experiments from Modern Processors

Ian P. Gent, Hecher, Markus+2 more|arXiv (Cornell University)|Apr 12, 2013

Scientific Computing and Data Management参考文献 15被引用数 35

ひとこと要約

この論文は、コンピュータサイエンス分野における計算実験の長期的再現可能性を保証するため、正確な仮想マシン環境の保存を義務づける「再計算マニフェスト」を提唱する。実験が数十年後に正確に再実行可能であるためには、ソースコードの有無に関わらず、完全でエミュレート可能な仮想マシンを提供する必要があると主張しており、その目的はすべての実験を永遠に再計算可能にするものである。

ABSTRACT

In this paper, we revisit the approach to empirical experiments for combinatorial solvers. We provide a brief survey on tools that can help to make empirical work easier. We illustrate origins of uncertainty in modern hardware and show how strong the influence of certain aspects of modern hardware and its experimental setup can be in an actual experimental evaluation. More specifically, there can be situations where (i) two different researchers run a reasonable-looking experiment comparing the same solvers and come to different conclusions and (ii) one researcher runs the same experiment twice on the same hardware and reaches different conclusions based upon how the hardware is configured and used. We investigate these situations from a hardware perspective. Furthermore, we provide an overview on standard measures, detailed explanations on effects, potential errors, and biased suggestions for useful tools. Alongside the tools, we discuss their feasibility as experiments often run on clusters to which the experimentalist has only limited access. Our work sheds light on a number of benchmarking-related issues which could be considered to be folklore or even myths.

研究の動機と目的

• コンピュータサイエンス分野における計算実験の再現性の欠如という広範な問題に対処すること。
• 再計算可能性を標準的実践として確立し、実験が長期間にわたり正確に再現可能であることを保証すること。
• ソースコードの共有だけでは実行環境の一貫性を保証できないという限界を克服すること。
• 仮想マシンを、長期的再計算可能性を保証する唯一の信頼できる方法として推進すること。
• 再計算可能な実験をホスティング・アクセス可能にする持続可能なインfraストラクチャー（ツールとリポジトリ）を構築すること。

提案手法

• 計算実験を、元の実行環境を正確に再現する完全な仮想マシン（VM）とともにホスティングするべきだと提唱すること。
• 仮想化技術を用いて、OS、ライブラリ、ランタイム状態を含むすべてのシステム依存関係をカプセル化することを提唱すること。
• リポジトリがVMイメージを保存・維持するよう義務づけ、将来的に実験を同一条件下で再実行可能であることを保証すること。
• 再計算可能な実験の作成・アップロード・取得を簡素化するためのツールやプラットフォーム（例：recomputation.org）の開発を奨励すること。
• 長期的な利用可能性と再利用を確保するため、VMおよび関連ツールをオープンソースライセンスで公開することを推進すること。
• 閉鎖型の実験に対しても、正確な実行環境を保存することで仮想マシンを再計算可能性のゴールドスタンダードとして位置づけること。

実験結果

リサーチクエスチョン

• RQ1 計算実験を、元の実行から数十年経った後でも正確に再計算可能にするための最も信頼できる方法は何か？
• RQ2 なぜソースコードの提供だけでは、計算実験の意味的な再現性を保証できないのか？
• RQ3 科学界は、時間の経過とともに実験の再計算を標準的かつ制度化するにはどうすればよいか？
• RQ4 ソフトウェアのバージョン管理と同等に簡単かつアクセスしやすい再計算可能性を実現するためのインfraストラクチャーとツールは何か？
• RQ5 仮想マシン形式で計算実験を長期保存する際の、長期的な技術的および経済的実現可能性に関する検討事項は何か？

主な発見

• 計算実験の再計算可能性を保証する唯一の方法は、元の検証時に使用された正確な仮想マシン環境を保存することである。
• ソースコードが入手可能でも、時間の経過とともにシステムライブラリ、コンパイラ、OSの変更により、実験が再構築または実行不能になることがよくある。
• 仮想マシンは環境のばらつきを排除し、異なるハードウェアや時間経過を越えて決定的かつ繰り返し可能な実行を保証する。
• データおよびVMの保存コストは指数関数的に低下しており、実験の長期的保存が経済的に実現可能である。
• Sumatra、CDE、Burritoといったツールは初期段階で一定の可能性を示しているが、再計算可能な実験を対象とする専用のエコシステムはまだ不足している。
• 過去5年間分のすべての実験を毎年再計算するには、新規CPUリソースの10％程度で十分であり、大規模な再計算の実用性が裏付けられている。