[論文レビュー] LIBOPT - An environment for testing solvers on heterogeneous collections of problems - Version 1.0

Jean Charles Gilbert, Xavier Jonsson|ArXiv.org|Mar 6, 2007

Numerical Methods and Algorithms参考文献 5被引用数 15

ひとこと要約

LIBOPT は、CUTEr や Modulopt のような異種の問題コレクション間で、一貫した Unix/Linux コマンドを用いて最適化ソルバの実行、比較、プロファイリングを統合する、柔軟で拡張可能なテスト環境です。Perl スクリプトとカスタマイズ可能な makefile を通じて、シームレスなソルバ-コレクション統合を可能にし、主な貢献としてポータブルでモジュラーなアーキテクチャと、科学計算のための標準化されたベンチマークワークフローを提供します。

ABSTRACT

The Libopt environment is both a methodology and a set of tools that can be used for testing, comparing, and profiling solvers on problems belonging to various collections. These collections can be heterogeneous in the sense that their problems can have common features that differ from one collection to the other. Libopt brings a unified view on this composite world by offering, for example, the possibility to run any solver on any problem compatible with it, using the same Unix/Linux command. The environment also provides tools for comparing the results obtained by solvers on a specified set of problems. Most of the scripts going with the Libopt environment have been written in Perl.

研究の動機と目的

• 異なるフォーマットや特徴を有する異種の問題コレクション間で最適化ソルバのベンチマークとプロファイリングを実施する課題に対処すること。
• 多様なソルバーや問題コレクションのインターフェースの複雑さを抽象化する、統一的で拡張可能な環境を提供すること。
• フォーマット変換や低レベルのコーディングを必要とせず、標準化された問題セット上でソルバの性能を一貫して再現可能に評価・比較できること。
• 標準化された設定とスクリプトを用いて、ユーザーが新しいソルバーや問題コレクションを統合できるように拡張性を支援すること。
• モジュラーでプラットフォームに依存しないフレームワークとして設計することで、最適化を越えて他の科学計算分野へ一般化すること。

提案手法

• 環境は、問題とソルバのインターフェースを抽象化するレイヤードアーキテクチャを採用しており、任意の互換性のあるソルバを、単一のコマンドラインインターフェースを通じて任意の問題に実行可能にしています。
• ソルバ実行、結果収集、複数の問題セット間での比較を自動化するために、ドメイン固有の Perl スクリプトのセットに依存しています。
• ソルバーやコレクションを組織化するための標準化されたディレクトリ構造があり、設定ファイル（例：all.lst, default.lst）が問題の可用性とソルバの互換性を定義しています。
• ソルバーバイナリを問題固有のオブジェクトファイルとリンクするためにカスタム makefile を使用しており、実行時にアーカイブ（例：prob.a）を介して問題データを動的にロードしています。
• メインプログラム（例：baby_toys_main.f90）はソルバ固有であり、問題データとのインターフェースを処理しており、再利用可能なテンプレートが提供されています。
• モジュラー設計により、ソルバ固有のスクリプトと設定ファイルを定義するだけで、新しいソルバーやコレクションを、コアシステムへの最小限の変更で追加可能になっています。

実験結果

リサーチクエスチョン

• RQ1 異なるフォーマットや特徴を有する多様で異種の問題コレクションをサポートする統一されたテスト環境をどのように設計できるか？
• RQ2 フォーマット固有の再実装を回避しながら、複数のソルバ-コレクションペア間で一貫したソルバ実行と結果比較を実現するアーキテクチャパターンは何か？
• RQ3 新しいソルバーや問題コレクションを統合する際に、最小限の設定オーバーヘッドで環境を拡張するにはどうすればよいか？
• RQ4 新しいソルバーやコレクションを共有ベンチマークフレームワークに統合する際、ポータビリティと保守性を保証するメカニズムは何か？
• RQ5 このフレームワークは、最適化を越えて他の科学計算分野へどの程度一般化できるか？

主な発見

• LIBOPT を用いることで、対応するソルバを、サポートされているコレクションの任意の問題に対して、一貫した Unix/Linux コマンド一つで実行でき、ベンチマークワークフローの大幅な簡素化が実現されています。
• 環境は、問題エンコードや構造が異なる場合でも、CUTEr や Modulopt のような異種のコレクションを統合可能であり、それらのインターフェースを抽象化することで実現しています。
• Perl スクリプトと標準化された設定ファイル（例：all.lst, default.lst）の使用により、複数回のソルバーランにおける一貫した結果収集と比較が可能になっています。
• モジュラーな makefile システムにより、ソルバーバイナリを問題固有のオブジェクトファイルと動的にリンクでき、各問題ごとの効率的で隔離された実行が可能になっています。
• フレームワークは拡張可能であり、新しいソルバーやコレクションは、ソルバ固有のスクリプトと設定ファイルを作成するだけで追加可能で、コアシステムへの影響は最小限です。
• 環境は、-v および -t フラグを用いて、詳細モードとテストモードをサポートしており、実行前にコマンドシーケンスの確認と検証が行えます。