[論文レビュー] SymbolicData:SDEval - Benchmarking for Everyone

Albert Heinle, Viktor Levandovskyy+1 more|arXiv (Cornell University)|Oct 18, 2013

Bioinformatics and Genomic Networks参考文献 8被引用数 5

ひとこと要約

この論文では、記号的データプロジェクトに基づいて構築された柔軟でオープンソースのベンチマーキングツールボックスであるSDEvalを紹介する。このツールは、計算代数分野における再現可能で標準化されたパフォーランス評価を自動化し、促進する。ユーザーは複数の計算代数システムに対して実行可能なベンチマークを生成でき、構造化されたタスクフォルダを用いて監視、計測、再現を可能にする。これにより、アルゴリズム研究における透明性と比較可能性が著しく向上する。

ABSTRACT

In this paper we will present SDeval, a software project that contains tools for creating and running benchmarks with a focus on problems in computer algebra. It is built on top of the Symbolic Data project, able to translate problems in the database into executable code for various computer algebra systems. The included tools are designed to be very flexible to use and to extend, such that they can be utilized even in contexts of other communities. With the presentation of SDEval, we will also address particularities of benchmarking in the field of computer algebra. Furthermore, with SDEval, we provide a feasible and automatizable way of reproducing benchmarks published in current research works, which appears to be a difficult task in general due to the customizability of the available programs. We will simultaneously present the current developments in the Symbolic Data project.

研究の動機と目的

• 計算代数研究における標準的で再現可能なベンチマークの不足に対処すること。
• 開発者や研究者が共通の問題セット上で複数の計算代数システムのパフォーマンスを簡単に比較できるようにすること。
• 公開されたベンチマークを、入力データ、コード、結果を含む共有可能でポータブルなタスクフォルダ構造にパッケージ化することで、自動的に再現可能にすること。
• 抽象的な問題インスタンスを複数のシステムで実行可能なコードに変換するツールを、記号的データプロジェクトに拡張すること。
• コミュニティ主導のベンチマーキングを支援するため、新しい計算問題やシステムに対応できる拡張可能でカスタマイズ可能なツールを提供すること。

提案手法

• SDEvalは、記号的データデータベースからの記号的問題インスタンスを、さまざまな計算代数システム（例：Sage、Mathematica、Maple）の実行可能コードに変換するトランスレータを使用する。
• 標準化された問題エントリからベンチマークセットを作成するためのコマンドラインおよびGUIインターフェースを提供する。
• ベンチマークランナーは実行時間とメモリ使用量を監視し、設定可能なタイムアウトと長時間実行中のプロセスの自動終了機能を備える。
• 結果は人間が読みやすいHTML形式と機械が処理可能なXML形式の両方でログ記録され、透明性と自動化の両方を向上させる。
• システムはタスクフォルダにまとめてベンチマークを整理し、入力、コード、出力をカプセル化することで、異なるプラットフォーム間での簡単な共有と再現性を実現する。
• Sageとの統合をサポートするため、IntPSデータベースへのオプションインターフェースを備え、Sage環境で直接問題インスタンスを利用可能にする。

実験結果

リサーチクエスチョン

• RQ1 計算代数分野におけるベンチマーキングを、異なるシステムや研究グループ間でより再現可能で透明性の高いものにするにはどうすればよいか？
• RQ2 記号的計算問題のクロスシステムベンチマークの自動生成と実行に必要なインfraは何か？
• RQ3 記号的データプロジェクトの問題インスタンスを、多様な計算代数システムで実行可能なコードに体系的に変換するにはどうすればよいか？
• RQ4 異種のソフトウェア環境間で一貫性があり信頼性の高い結果比較を実現するメカニズムは何か？
• RQ5 長期的な再現可能性とコミュニティによる拡張を支援するため、ベンチマーキングワークフローをどのように構造化すべきか？

主な発見

• SDEvalは、統一されたタスクフォルダ構造を用いて、複数の計算代数システム間で標準的で再現可能なベンチマークの作成を可能にする。
• ユーザーが定義した時間制限やメモリ制限を超える計算に対して、自動監視とプロセスの終了が可能であり、ベンチマーキングの堅牢性が向上する。
• 結果は人間が読みやすいHTML形式と機械が処理可能なXML形式の両方で報告されるため、透明性と自動化の可能性が向上する。
• モジュラー設計により、新しい計算問題や追加の計算代数システムへの拡張が容易に可能である。
• このアプローチにより、研究者が最小限のセットアップで公開された結果を再現可能にし、ベンチマーク検証の障壁を低減できる。
• Sageとの統合とIntPSデータベースへの対応は、既存の記号的計算エコシステムとの実用的な相互運用性を示している。