[論文レビュー] BMOBench: Black-Box Multi-Objective Optimization Benchmarking Platform

Abdullah Al-Dujaili, Suresh Sundaram|arXiv (Cornell University)|May 23, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用数 7

ひとこと要約

BMOBenchは、ブラックボックス多目的最適化のための包括的なベンチマークプラットフォームであり、100の多様なテスト問題を用いて、複数の品質指標と実行時間メトリクスで最適化ソルバーを評価する。これは、決定的および確率的アルゴリズムの公平な、データプロファイルに基づく比較を可能にし、さまざまな評価予算下でMO-SOOが大多数の問題において優れた収束速度を示していることを示している。

ABSTRACT

This document briefly describes the Black-Box Multi-Objective Optimization Benchmarking (BMOBench) platform. It presents the test problems, evaluation procedure, and experimental setup. To this end, the BMOBench is demonstrated by comparing recent multi-objective solvers from the literature, namely SMS-EMOA, DMS, and MO-SOO.

研究の動機と目的

• ブラックボックス多目的最適化アルゴリズムのための標準化され、再現可能なベンチマークフレームワークを確立すること。
• 複数回の実行と最良実行時間の集約を考慮することで、決定的および確率的ソルバー間の公平な比較を可能にすること。
• スケーラブル、非凸、制約付きのテスト問題を含む多様な問題タイプにおけるアルゴリズムのパフォーマンスを評価すること。
• 複数の品質指標と実行時間効率メトリクスを用いた統一された評価プロトコルを提供すること。
• 関数評価予算に応じたデータプロファイルを通じた収束行動の実証的分析を支援すること。

提案手法

• プラットフォームには、次のような特徴を持つ100のテスト問題が含まれる：次元数（n）、目的数（m）、特性（L: 低、H: 高、S: スケーラブル、NS: スケーラブルでない、U: 無制約、M: 多峰性、D: 退化）
• 4つの品質指標を用いる：ハイパーボリューム差分（I⁻ₕ）、生成距離（IGD）、逆生成距離（IGD⁺）、加法的エプシロン指標（I⁺ₑ₊）、これらはすべて正規化され、リファレンスセットに基づく
• リファレンスセット R は、過去の進化的アルゴリズム（Custódioら, 2011）の近似集合の和集合によって構築され、ターゲット計算の整合性を保証する
• 収束の評価にデータプロファイルを用いる：dₛ(α) = (1/|P|) × |{p ∈ P : tₚ,ₛ / nₚ ≤ α}|、ここで tₚ,ₛ は問題 p でターゲットに到達するまでのランタイム（関数評価数）である
• 確率的ソルバーの場合、10回の実行における最良ランタイムが各ターゲットに対して使用され、異なる評価予算間での公平な比較が可能になる
• 実測ランタイムは、10、100、1000の予算で選択された問題（BK1、DPAM1、L3ZDT1、DTLZ3、FES3）における関数評価あたりの時間の対数-対数プロットを通じて測定される

実験結果

リサーチクエスチョン

• RQ1 異なる多目的最適化ソルバー（SMS-EMOA、DMS、MO-SOO）は、多様なテスト問題において、関数評価予算に応じて収束速度でどのように比較されるか？
• RQ2 データプロファイルと最良実行時間メトリクスを用いた場合、確率的ソルバーと決定的ソルバーの相対的パフォーマンスはどのようになるか？
• RQ3 アルゴリズムの効率（関数評価あたりの時間）は、異なる問題クラスと評価予算に応じてどのように変化するか？
• RQ4 ハイパーボリュームや生成距離のような品質指標は、ブラックボックス最適化における収束行動とどの程度相関するか？
• RQ5 統一されたベンチマークフレームワークは、公平でスケーラブルかつ再現可能な多目的最適化アルゴリズムの評価を支援できるか？

主な発見

• データプロファイルの値が低い関数評価予算で、MO-SOOはSMS-EMOA や DMS よりも収束速度が優れていることが示され、大多数の問題で顕著である
• データプロファイル分析により、特に最適化の初期段階において、MO-SOOがターゲットにSMS-EMOA や DMS よりも顕著に早く到達することが明らかになった
• 実測ランタイムの測定結果から、MO-SOOはSMS-EMOA や DMS よりも関数評価あたりの時間コストが低く、計算効率が優れていることが示された
• ベンチマークフレームワークは、確率的アルゴリズムに対して10回の試行における最良結果を用いることで、決定的および確率的ソルバーを両方とも適切に扱える
• 正規化されたリファレンスセットと複数の品質指標の使用により、多様な問題タイプや次元数にわたる一貫性があり信頼性の高いパフォーマンス評価が可能になった
• プラットフォームの設計により、スケーラブルで問題に依存しない評価が可能となり、将来のブラックボックス多目的最適化におけるアルゴリズム開発と比較を支援する