[論文レビュー] Biobjective Performance Assessment with the COCO Platform

Dimo Brockhoff, Tea Tušar+4 more|arXiv (Cornell University)|May 5, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用数 26

ひとこと要約

本論文は、COCOプラットフォーム内において、アルゴリズムが事前に定義されたターゲットハイパーボリューム値に到達するまでの実行時間を測定するため、ハイパーボリュームに基づく品質指標を用いた二目的最適化のパフォーマンス評価フレームワークを導入する。真のパレートフロントが不明な大多数のbbob-biobj問題において、複数の多目的最適化アルゴリズムからの非支配解を統合して得られる基準ハイパーボリュームを設定することで、一貫性があり再現可能なバイオブジェクティブ最適化アルゴリズムのベンチマークが可能になる。

ABSTRACT

This document details the rationales behind assessing the performance of numerical black-box optimizers on multi-objective problems within the COCO platform and in particular on the biobjective test suite bbob-biobj. The evaluation is based on a hypervolume of all non-dominated solutions in the archive of candidate solutions and measures the runtime until the hypervolume value succeeds prescribed target values.

研究の動機と目的

• COOプラットフォーム内におけるバイオブジェクティブ最適化アルゴリズムの標準化され、再現可能なパフォーマンス評価フレームワークの開発。
• 実行時間を、事前に定義されたハイパーボリュームターゲット値に到達するまでの関数評価回数として定義し、アルゴリズム間の比較を可能にする。
• 真のパレート集合が不明な大多数のbbob-biobj問題を考慮し、NSGA-II、SMS-EMOA、MOEA/D、RM-MEDA、MO-CMA-ES、およびスカラライズド問題におけるCMA-ESを含む複数のアルゴリズムからの非支配解を統合することで、基準ハイパーボリューム値を確立する。
• アルゴリズム実行から得られたすべての非支配解を保存することで、将来の基準集合の更新とパフォーマンス指標の再計算を可能にする。
• 一貫した指標計算を通じて、複数の問題インスタンスにわたるアルゴリズムパフォーマンスの一般化と検証を可能にする。

提案手法

• 品質指標として、外部アーカイブの非支配解のハイパーボリュームを用い、基準点としてナディル点を用いる。
• アフィン変換を用いて、理想点を(0,0)、ナディル点を(1,1)にマッピングすることで、正規化されたハイパーボリューム指標を計算する。
• パフォーマンス測定のためのターゲット値は、精度レベルの集合として定義され、基準ハイパーボリュームを超えることを許容するための負の値も含む。
• 真のパレート集合が得られない状況において、NSGA-II、SMS-EMOA、MOEA/D、RM-MEDA、MO-CMA-ES、およびスカラライズド問題におけるCMA-ESを含む複数のアルゴリズムからの非支配解を統合することで、基準ハイパーボリュームを近似する。
• 各アルゴリズム実行から得られたすべての非支配解を保存し、将来の基準集合の更新とパフォーマンス再計算を可能にする。
• パフォーマンスデータは一意の識別子でバージョニングされ、COOプラットフォームのGitHubリポジトリを介して基準ハイパーボリューム値にリンクされる。

実験結果

リサーチクエスチョン

• RQ1 真のパレートフロントが不明な状況において、バイオブジェクティブ最適化アルゴリズムのパフォーマンス評価を一貫的かつ再現可能に行うにはどうすればよいか？
• RQ2 バイオブジェクティブ最適化におけるアルゴリズムの進行状況を測定するのに効果的で安定した品質指標は何か？
• RQ3 異なるアルゴリズム間での実行時間パフォーマンス比較を意味的に有意義にするために、ターゲット値はどのように定義すべきか？
• RQ4 解析的パレート集合解が得られない状況において、基準ハイパーボリューム値を信頼性高く近似するにはどうすればよいか？
• RQ5 過去のベンチマーク結果を無効にせずに、基準集合の将来的な改善をどのように統合できるか？

主な発見

• COCOプラットフォームでは、バイオブジェクティブ最適化の主な品質指標として、外部アーカイブのハイパーボリューム指標を用い、実行時間はターゲット値に到達するまでの関数評価回数として定義される。
• ターゲット値は、基準ハイパーボリュームを超えることを許容する負の値も含む精度レベルのシーケンスとして定義され、実行時間は経験的累積分布関数として報告される。
• 基準ハイパーボリュームは、NSGA-II、SMS-EMOA、MOEA/D、RM-MEDA、MO-CMA-ES、およびスカラライズド問題におけるCMA-ESを含む複数のアルゴリズムからの非支配解を統合して形成された非支配基準集合から計算される。
• 基準集合は、各アルゴリズム実行からの非支配解を統合することで継続的に改善され、将来的なパフォーマンス指標の再計算が可能になる。
• パフォーマンスデータはバージョニングされ、使用された特定の基準ハイパーボリューム値にリンクされ、COOプラットフォームのGitHubリポジトリを通じて再現可能性とトレーサビリティが保証される。
• 本アプローチにより、真のパレートフロントが解析的に不明な状況においても、一貫性がありスケーラブルで拡張可能なバイオブジェクティブ最適化アルゴリズムのベンチマークが可能になる。