[論文レビュー] Uncrowded Hypervolume Improvement: COMO-CMA-ES and the Sofomore framework

Cheikh Touré, Nikolaus Hansen+2 more|arXiv (Cornell University)|Apr 18, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 25被引用数 9

ひとこと要約

本稿では、支配された解をパレート前沿の未探索領域へ誘導するために、Uncrowded Hypervolume Improvement (UHVI) を用いて単目的最適化ソルバーから多目的最適化アルゴリズムを構築する新規フレームワークである Sofomore を提案する。単目的最適化ソルバーに CMA-ES を採用した COMO-CMA-ES は、二目的凸二次問題において線形収束を達成し、MO-CMA-ES や NSGA-II、SMS-EMOA よりも収束性およびアーカイブ品質で優れる。

ABSTRACT

We present a framework to build a multiobjective algorithm from single-objective ones. This framework addresses the $p imes n$-dimensional problem of finding p solutions in an n-dimensional search space, maximizing an indicator by dynamic subspace optimization. Each single-objective algorithm optimizes the indicator function given $p - 1$ fixed solutions. Crucially, dominated solutions minimize their distance to the empirical Pareto front defined by these $p - 1$ solutions. We instantiate the framework with CMA-ES as single-objective optimizer. The new algorithm, COMO-CMA-ES, is empirically shown to converge linearly on bi-objective convex-quadratic problems and is compared to MO-CMA-ES, NSGA-II and SMS-EMOA.

研究の動機と目的

• NSGA-II などの伝統的な多目的進化的アルゴリズムは、方向性に偏りのないクラスタリング距離最適化により劣化サイクルを示すが、収束保証が欠如しているという問題に対処すること。
• 標準的なハイパーボリューム指標が探索空間の大規模領域で平坦になるのを是正するため、混雑度をペナルティ化し、未探索領域を優遇する動的フィットネスを導入すること。
• 単目的最適化ソルバーから多目的アルゴリズムを構築可能な一般化されたフレームワークを設計すること。これには動的部分空間最適化を活用する。
• CMA-ES を用いてこのフレームワークを具体化し、COMO-CMA-ES を構築すること。これは非エリート的で、コンma選択に基づくアルゴリズムであり、UHVI フィットネス関数を最適化する。
• COMO-CMA-ES が最先端のアルゴリズムと比較して収束ギャップおよびアーカイブ品質において線形収束を達成することを実験的に検証すること。

提案手法

• Sofomore フレームワークは、他の $ p-1 $ 個の解の現在の状態に基づいて、$ p $ 個の解それぞれに動的フィットネスを割り当てる。これにより、単目的最適化ソルバーが最適な $ p $ 分布へ共進化できる。
• 主な革新は、Uncrowded Hypervolume Improvement (UHVI) フィットネスである。支配された解に対しては、非支配解からなる経験的パレート前沿からの距離の逆数がフィットネスとして用いられる。
• この UHVI フィットネス関数により、パレート前沿の未探索領域への探索が偏向され、標準的なハイパーボリューム指標の平坦性が是正され、支配された解の探索方向が明確化される。
• COMO-CMA-ES は、$ p $ 個の解それぞれに CMA-ES アルゴリズムを並列に適用し、UHVI フィットネス関数を用い、最悪の解を各反復で破棄するコンマ選択戦略を採用することで具体化される。
• アルゴリズムは CMA-ES の動的で適応的なステップサイズおよび共分散行列更新則を用いるが、フィットネス関数により支配された解が非支配フロント間のスパース領域に引きつけられる。
• フレームワークは、回転を含むさまざまな二目的凸二次問題を用いて評価され、収束ギャップとアーカイブギャップを性能指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 現在の集団状態に基づいて動的にフィットネスを調整することで、単目的最適化ソルバーから多目的最適化アルゴリズムを構築可能なフレームワークを設計できるか？
• RQ2 支配された解に対してパレート前沿からの距離ペナルティを組み込むことで、標準的なハイパーボリュームベースの手法と比較して収束性および多様性が向上するか？
• RQ3 COMO-CMA-ES は二目的凸二次問題において線形収束を達成できるか？ また、MO-CMA-ES や NSGA-II、SMS-EMOA と比較してどうなるか？
• RQ4 COMO-CMA-ES における非エリート的コンマ選択戦略は、最良の解を保持しないにもかかわらず、より優れた多様性およびアーカイブ品質をもたらすか？
• RQ5 凸二次問題におけるヘシアン行列の回転に対して COMO-CMA-ES はどれほど頑健か？ また、このような変換下でも線形収束を維持できるか？

主な発見

• COMO-CMA-ES は、パレート集合がねじれた形になる回転付きインスタンスを含め、二目的凸二次問題において最適 $ p $-分布への線形収束を示す。
• 5次元の二球関数では、COMO-CMA-ES と MO-CMA-ES ともに線形収束を示すが、MO-CMA-ES は約 30% 速い。
• 10次元の cigtab-sep-1 関数では、COMO-CMA-ES は各コアで 2000～4000 評価の間で一時的な平坦期を示すが、最終的には MO-CMA-ES よりも高い収束速度に到達する。
• COMO-CMA-ES は、すべてのテスト問題において最小の収束ギャップを達成し、NSGA-II や SMS-EMOA の値と比較して数個のオーダーも低い。
• アーカイブ品質を明示的に設計していないにもかかわらず、実験のほとんどすべてで最も優れたアーカイブギャップを達成する。唯一の例外は、7000評価後に 5D の cigtab-sep-1 関数で NSGA-II がわずかに上回った場合である。
• 優れたアーカイブ性能は、非エリート的 CMA-ES の大きな定常分散と、UHVI フィットネスによる暗黙の混雑度ペナルティに起因し、非支配解の間の未探索領域が優遇される。