[論文レビュー] The First Proven Performance Guarantees for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II) on a Combinatorial Optimization Problem

Sacha Cerf, Benjamin Doerr+3 more|arXiv (Cornell University)|May 22, 2023

Advanced Multi-Objective Optimization Algorithms参考文献 52被引用数 6

ひとこと要約

本稿では、組合せ最適化問題である二目的最小スパニングツリー（MST）問題に対するNSGA-IIアルゴリズムの最初の保証付き性能評価を提示する。人口サイズ $N \geq 4((n-1)w_{\max}+1)$ の場合、NSGA-IIは期待的に $O(m^2 n w_{\max} \log(nw_{\max}))$ 回の反復で、すべての極端なパレートフロント点を計算することが示され、厳密な数学的分析を通じてその実効性を裏付けている。

ABSTRACT

The Non-dominated Sorting Genetic Algorithm-II (NSGA-II) is one of the most prominent algorithms to solve multi-objective optimization problems. Recently, the first mathematical runtime guarantees have been obtained for this algorithm, however only for synthetic benchmark problems. In this work, we give the first proven performance guarantees for a classic optimization problem, the NP-complete bi-objective minimum spanning tree problem. More specifically, we show that the NSGA-II with population size $N \ge 4((n-1) w_{\max} + 1)$ computes all extremal points of the Pareto front in an expected number of $O(m^2 n w_{\max} \log(n w_{\max}))$ iterations, where $n$ is the number of vertices, $m$ the number of edges, and $w_{\max}$ is the maximum edge weight in the problem instance. This result confirms, via mathematical means, the good performance of the NSGA-II observed empirically. It also shows that mathematical analyses of this algorithm are not only possible for synthetic benchmark problems, but also for more complex combinatorial optimization problems. As a side result, we also obtain a new analysis of the performance of the global SEMO algorithm on the bi-objective minimum spanning tree problem, which improves the previous best result by a factor of $|F|$, the number of extremal points of the Pareto front, a set that can be as large as $n w_{\max}$. The main reason for this improvement is our observation that both multi-objective evolutionary algorithms find the different extremal points in parallel rather than sequentially, as assumed in the previous proofs.

研究の動機と目的

• 合成ベンチマークにとどまらず、現実の組合せ最適化問題におけるNSGA-IIの最初の数学的ランタイム保証を確立すること。
• 二目的MST問題におけるパレートフロントのすべての極端な点を計算するためのNSGA-IIの期待時間の分析を行うこと。
• NSGA-IIの理論的分析が、単なる人工的ベンチマークにとどまらず、複雑な組合せ問題に対しても実行可能で意味のあるものであることを示すこと。
• 従来のグローバルSEM Oアルゴリズムのランタイムバウンドを改善し、極端な点への収束が逐次的ではなく並列的であることを示すこと。
• この文脈における突然変異演算子および交叉のNSGA-IIのパフォーマンスへの影響を調査すること。

提案手法

• NSGA-IIがすべての極端なパレート最適解を含む個体群を構築するプロセスを追跡するためのマルコフ連鎖モデルを用いる。
• パレートフロントの極端な点に近い個体を選び、改善する確率の下界を確立する。
• 「フェア選択」の概念を活用し、非極端な個体から新しい極端な点を生成する確率 $\mathbf{p}_2$ を分析する。
• 人口サイズ $N \geq 4((n-1)w_{\max}+1)$ の場合、すべての極端な解をカバーできる十分な多様性を維持できることを証明する。
• ビット単位の突然変異とバランス型突然変異の両方を考慮し、バランス型突然変異が収束を改善することを示す。
• 交叉の導入を含めた分析を拡張し、定数確率で交叉を追加しても、漸近的ランタイム複雑度に悪影響を及ぼさないことを示す。

実験結果

リサーチクエスチョン

• RQ1 二目的MSTのような古典的な組合せ最適化問題において、NSGA-IIに数学的ランタイム保証を設定できるか？
• RQ2 二目的MST問題において、NSGA-IIがすべての極端なパレート最適解を計算するのに十分な人口サイズは何か？
• RQ3 NSGA-IIの性能は、この問題におけるグローバルSEM Oのような単純なMOEAと比べてどうか？また、極端な点への並列収束が観察される理由を分析で説明できるか？
• RQ4 バランス型突然変異または交叉の使用が、この問題におけるNSGA-IIの漸近的ランタイム複雑度に影響を与えるか？
• RQ5 NSGA-IIの理論的分析を、合成ベンチマークにとどまらず、現実の組合せ最適化問題へと拡張できるか？

主な発見

• 人口サイズ $N \geq 4((n-1)w_{\max}+1)$ のNSGA-IIは、期待的に $O(m^2 n w_{\max} \log(nw_{\max}))$ 回の反復で、パレートフロントのすべての極端な点を計算する。
• 極端な点への並列収束を認識したことにより、従来のグローバルSEM Oアルゴリズムのランタイムバウンドが $|F|$（極端な点の数）の要因で改善された。
• バランス型突然変異を用いることで、極端な点を生成する確率が向上し、期待ランタイムが $O((m-n)n\log(nw_{\max}) + m\log n)$ 世代に短縮される。
• 定数確率で交叉を追加しても、漸近的期待ランタイムが悪化しないことが示され、非交叉ケースに還元可能である。
• 結果として、NSGA-IIの厳密な数学的分析が、合成ベンチマークにとどまらず、現実の組合せ最適化問題に対しても実行可能で意味のあるものであることが確認された。
• 本研究は、他の組合せ多目的最適化問題におけるNSGA-IIの今後の理論的分析の基盤を確立した。