[論文レビュー] Benchmarking Optimization Software with Performance Profiles

Elizabeth D. Dolan, Jorge J. Morè|ArXiv.org|Feb 1, 2001

Software System Performance and Reliability参考文献 10被引用数 9

ひとこと要約

この論文は、パフォーマンス比（例：最良のソルバー比に対するソルバーの実行時間）の累積分布関数を用いる統計的手法であるパフォーマンスプロファイルを導入する。これは、平均値、順位、四分位数といった従来の指標の限界を克服し、任意のしきい値やデータの破棄なしに、テストセット全体におけるソルバーの信頼性と効率性を可視化することで、複数のソルバー間の明確で堅牢かつ解釈可能な比較を可能にする。

ABSTRACT

We propose performance profiles-distribution functions for a performance metric-as a tool for benchmarking and comparing optimization software. We show that performance profiles combine the best features of other tools for performance evaluation.

研究の動機と目的

• 平均値、順位、四分位数といった従来のベンチマーク手法の限界を是正すること。これらの手法は外れ値の影響を受けるか、改善の程度に関する情報を損なうことがある。
• 多様な問題テストセット上で複数の最適化ソルバーの性能を比較するための標準的で視覚的かつ統計的に妥当な手法を提供すること。
• 失敗した実行に対するペナルティ値や「競争的」と見なすための固定しきい値といった任意の選択を排除すること。
• 特に多数のソルバーと問題を含む大規模ベンチマークにおいて、ソルバーの性能トレンドを明確に解釈できるようにすること。
• 著者自身のテストセットにとどまらず、ハンス・ミッテルマンのベンチマークから得た実世界のデータにも本手法の適用可能性を示すこと。

提案手法

• パフォーマンスプロファイルは、パフォーマンス比の累積分布関数（CDF）として定義される。ここで、比は各問題におけるすべてのソルバーの中で最良の実行時間に対するソルバーの実行時間の比である。
• この手法は主に実行時間をパフォーマンス指標として用いるが、関数評価回数や反復回数といった他の指標にも適応可能である。
• 収束に失敗したソルバーは失敗として扱われ、比の計算から除外される。これにより、任意のペナルティ値を割り当てることなくデータの整合性が保たれる。
• プロファイルは対数スケールで可視化され、y軸には与えられたパフォーマンス比以内に解けた問題の割合、x軸には比のしきい値が表示される。
• 複数のソルバーを1つの図に直接比較可能であり、各ソルバーはパフォーマンス比の範囲にわたる累積成功確率を示す曲線として表現される。
• MATLAB用にフォーマットされたデータを入力として受け取り、パフォーマンスプロファイル図を自動生成するPerlスクリプト（perf.pl）が提供されている。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様な問題テストセット上で、複数の最適化ソルバーの性能をどのように公平に比較できるか？
• RQ2 平均パフォーマンス、順位、四分位数分析といった従来のベンチマーク手法の限界は何か。これらはソルバーの挙動を十分に捉えていない。
• RQ3 既存手法の長所を統合し、外れ値への感受性や任意のしきい値といった短所を排除できる単一の可視化ツールは可能か？
• RQ4 失敗したソルバーの処理は、バイアスを導入せず、主観的なペナルティ値を必要とせずにどのように行えるか？
• RQ5 パフォーマンスプロファイルは、異なる種類の最適化ソフトウェアや実世界のベンチマークデータにどの程度一般化可能か？

主な発見

• パフォーマンスプロファイルは、少数の難しい問題が全体のパフォーマンス評価に与える影響を効果的に排除し、結果の歪みを防ぐ。
• 順位や四分位数ベースのアプローチとは異なり、性能向上の程度に関する詳細情報を保持する。
• パフォーマンスプロファイルは、ソルバーの信頼性を明確に視覚化する。曲線は、与えられたパフォーマンス比以内に解けた問題の割合を示す。
• すべての問題を正常に解けるソルバーは、y軸上で1.0に達する曲線として視覚的に識別可能であり、失敗を含むソルバーはそのようにはならない。
• ハンス・ミッテルマンの線形計画法ベンチマークデータに7種類の異なるソルバーを適用した結果、本手法の堅牢性と一般化可能性が実証された。
• 「競争的」と見なす基準を定義するような任意のパrameter選択を回避しながら、複数のソルバー間での意味のある比較が可能である。