[論文レビュー] Using Well-Understood Single-Objective Functions in Multiobjective Black-Box Optimization Test Suites

Dimo Brockhoff, Tea Tušar+2 more|arXiv (Cornell University)|Apr 1, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 37被引用数 42

ひとこと要約

本稿では、既存のbbobベンチマークからよく理解された単目的関数を組み合わせることで、多目的ブラックボックス最適化のテストスイートを構築する新しい手法を提案する。得られるbbob-biobjおよびbbob-biobj-extテストスイートは、それぞれ55および92の二目的関数を含み、非分離性、悪条件性、多峰性といった複雑で実用的な困難さを引き継ぐことで、現実の問題構造を模倣する。同時に、問題インスタンスを用いることで、決定的および確率的ソルバーの性能比較を可能にする。

ABSTRACT

Several test function suites are being used for numerical benchmarking of multiobjective optimization algorithms. While they have some desirable properties, like well-understood Pareto sets and Pareto fronts of various shapes, most of the currently used functions possess characteristics that are arguably under-represented in real-world problems. They mainly stem from the easier construction of such functions and result in improbable properties such as separability, optima located exactly at the boundary constraints, and the existence of variables that solely control the distance between a solution and the Pareto front. Here, we propose an alternative way to constructing multiobjective problems-by combining existing single-objective problems from the literature. We describe in particular the bbob-biobj test suite with 55 bi-objective functions in continuous domain, and its extended version with 92 bi-objective functions (bbob-biobj-ext). Both test suites have been implemented in the COCO platform for black-box optimization benchmarking. Finally, we recommend a general procedure for creating test suites for an arbitrary number of objectives. Besides providing the formal function definitions and presenting their (known) properties, this paper also aims at giving the rationale behind our approach in terms of groups of functions with similar properties, objective space normalization, and problem instances. The latter allows us to easily compare the performance of deterministic and stochastic solvers, which is an often overlooked issue in benchmarking.

研究の動機と目的

• 既存の多目的テストスイートに過剰に含まれる人工的で現実的でない性質（例えば、分離性、境界に基づくパレート集合、距離/位置変数）を是正すること。
• bbobベンチマークからの確立された単目的関数を組み合わせることで、非分離性、悪条件性、多峰性といった既知の実用的困難さを有する、より現実的で多様な多目的テスト問題のセットを構築すること。
• 制御された変化を伴う問題インスタンスを用いることで、決定的および確率的最適化アルゴリズムの性能を公平かつ体系的に比較可能にする。
• よく理解された単目的コンポonentに基づき、任意の目的数に対応できる汎用的かつ拡張可能なテストスイート生成フレームワークを提供すること。
• 人工的テスト関数を現実のブラックボックス最適化問題で観察される内在的課題に近づけることで、ベンチマーク手法を改善すること。

提案手法

• 本手法は、bbobスイートの単目的関数のペアを組み合わせることで二目的問題を構築し、多峰性、悪条件性、非分離性といった既知の性質を保持する。
• 各二目的関数は、単目的関数のペアとして定義され、パレート前沿への寄与がバランスするようスケーリングおよび正規化される。
• テストスイートはCOCOプラットフォームに実装されており、標準化されたベンチマークが可能で、決定的および確率的ソルバーのインスタンスベース評価を可能にする。
• 関数は、弱く構造化されたもの、強く構造化されたものといった共通の構造的性質に基づきグループ化され、アルゴリズム的課題を反映し、標的分析を支援する。
• 本アプローチにより、最適解が定義域の境界上にある、またはパレート前沿への距離を制御する変数のみを含むといった人工的特徴を避けることができ、現実性が向上する。
• 複数の単目的関数を体系的に組み合わせることで、二つ以上の目的を持つ問題へとフレームワークを拡張する一般的手順が提案される。

実験結果

リサーチクエスチョン

• RQ1 多目的テストスイートは、人工的数学的構造ではなく、実用的ブラックボックス最適化問題に見られる複雑で現実的な困難さをどのように反映できるか？
• RQ2 既存の多目的テストスイートは、現実世界の問題では稀な性質（分離性、境界に基づくパレート集合、距離/位置変数）をどれほど過剰に強調しているか？
• RQ3 bbobベンチマークからのよく理解された単目的関数を組み合わせることで、厳密なアルゴリズムベンチマークに適した、豊富で実用的な困難さのプロファイルを持つ多目的問題を生成できるか？
• RQ4 問題インスタンスを用いることで、多目的文脈における決定的および確率的最適化アルゴリズムの性能をどのように公平に比較できるか？
• RQ5 任意の目的数を想定した多目的テストスイートを、意味のあるアルゴリズム的課題を保持したまま、スケーラブルかつ体系的に生成する方法は何か？

主な発見

• bbob-biobjテストスイートには、bbobベンチマークの有名な単目的関数から導出された55の二目的関数が含まれており、非分離性や多峰性といった複雑で現実的な困難さが保持されている。
• 拡張版のbbob-biobj-extスイートでは関数数が92に増加し、多目的最適化における構造的およびアルゴリズム的課題の網羅的カバレッジが向上している。
• 本手法は、最適解が定義域境界上にある、またはパレート前沿への距離を制御する変数のみを含むといった人工的特徴を効果的に回避し、現実性が向上している。
• 問題インスタンスの導入により、決定的および確率的ソルバーの直接的かつ公平な比較が可能となり、既存のベンチマーク手法における重要なギャップが埋められた。
• 関数は、弱く構造化されたもの－弱く構造化されたものといった共通の性質に基づき意味のあるグループに分類されており、アルゴリズム挙動の標的分析を容易にする。
• 複数の単目的関数を組み合わせることで、目的数を任意に増やせるフレームワークが提供され、スケーラブルかつ拡張可能なベンチマークソリューションを実現している。