[論文レビュー] COCO: Performance Assessment

Nikolaus Hansen, Anne Auger+3 more|arXiv (Cornell University)|May 11, 2016

Parallel Computing and Optimization Techniques参考文献 17被引用数 48

ひとこと要約

本論文は、ターゲットの品質水準に到達するまでの関数評価回数のランタイムに基づき、ブラックボックス最適化アルゴリズムのパフォーマンス評価フレームワークであるCOOを紹介する。シミュレーテッドリスタート、経験的分布関数（ECDF）、平均ランタイム（aRT）を用いることで、多様なベンチマーク問題と異なるターゲット精度において、定量的で解釈可能な比較が可能となり、たとえば「あるアルゴリズムは別のアルゴリズムの7倍速い」といった主張が可能になる。

ABSTRACT

We present an any-time performance assessment for benchmarking numerical optimization algorithms in a black-box scenario, applied within the COCO benchmarking platform. The performance assessment is based on runtimes measured in number of objective function evaluations to reach one or several quality indicator target values. We argue that runtime is the only available measure with a generic, meaningful, and quantitative interpretation. We discuss the choice of the target values, runlength-based targets, and the aggregation of results by using simulated restarts, averages, and empirical distribution functions.

研究の動機と目的

• ブラックボックスの最適化アルゴリズムにおける定量的で解釈可能かつ意味のあるパフォーマンス評価の開発。
• CPU時間に基づくベンチマークの限界を克服するため、ハードウェアや言語に依存しないコスト指標として関数評価回数を用いる。
• ランタイムに基づくパフォーマンス指標により、「アルゴリズムAはBの7倍速い」といった比較的主張を可能にする。
• ECDFとaRTを用いて、問題インスタンス、ターゲット値、関数クラスにわたるパフォーマンスの集約を可能にする。
• 多様な問題特性にわたる最適化アルゴリズムの評価を支援する標準的でスケーラブルなベンチマークフレームワークの提供。

提案手法

• 定められたターゲット値に到達するために必要な目的関数評価回数を測定し、これを主コスト指標として扱う。
• 実際の再実行を避けるために、シミュレーテッドリスタートを用いてランタイムを推定する。
• 複数の問題インスタンスとターゲット値におけるランタイムの経験的分布関数（ECDF）を推定するためにブートストラップを用いる。
• 成功したランタイムの幾何平均としての平均ランタイム（aRT）を計算し、要約統計量とする。
• 分離可能・単峰性などの問題サブクラスおよびすべての関数にわたって結果を集約し、アルゴリズム間比較を可能にする。
• 半対数プロットにおけるECDFの可視化により、水平方向のシフトが乗法的スピード差を示す。

実験結果

リサーチクエスチョン

• RQ1 関数評価回数のランタイムは、ブラックボックス最適化において、意味的で定量的かつ解釈可能なパフォーマンス評価を提供するためにどのように利用できるか。
• RQ2 アルゴリズムベンチマークにおいて、CPU時間よりも関数評価回数を用いる利点は何か。
• RQ3 複数の問題インスタンス、ターゲット値、関数クラスにわたるパフォーマンスをどのように意味的に集約できるか。
• RQ4 シミュレーテッドリスタートとブートストラップは、信頼性の高いランタイム分布推定に果たす役割は何か。
• RQ5 ECDFとaRTは、「XはYの7倍速い」といった主張を可能にする方法として、どのようにアルゴリズム比較に用いることができるか。

主な発見

• 関数評価回数のランタイムは、比尺度的で解釈可能かつハードウェアに依存しない指標であり、たとえば「7倍速い」といった定量的比較を可能にする。
• 「2009年最高の人工的アルゴリズム」（各問題-ターゲットペアで最良のアルゴリズムを組み合わせたもの）は、BBOB-2009スイートにおいて実際のアルゴリズムの左端のエナメルより約2〜3倍速いランタイムを達成する。
• 次元5において、2009年最高のアルゴリズムは、すべての問題を約10^7 × n関数評価以内に解ける。
• 球関数における純粋なランダムサーチのECDFプロットでは、約20％の問題が5,000関数評価（10^3 × n）以内に解かれた。
• ECDFプロット上の十字は、失敗した実行で使用された最大予算の中央値を示しており、この値を超えるランタイムには少なくとも1つの失敗試行が存在することを示している。
• ECDFのx = 10^7を超えた小さな点は、すべての試行において（関数、ターゲット）ペアのうち、成功して解かれた全体の割合を表している。