[論文レビュー] Runtime Analysis for the NSGA-II: Proving, Quantifying, and Explaining the Inefficiency For Many Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Nov 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 9

ひとこと要約

本論文は、多数の目的問題におけるNSGA-IIの最初の数学的ランタイム解析を提供し、m個の目的関数を持つOneMinMaxベンチマーク（すべての解がパレート最適であるにもかかわらず）において、m ≥ 3 の場合、サブ指数時間内に完全なパレートフロントに到達できないことを証明している。この非効率性の原因は、クラスタリング距離が目的関数を独立して扱うためであり、多様性の維持が不十分となり、選択段階で最適解を失う確率が高くなる。

ABSTRACT

The NSGA-II is one of the most prominent algorithms to solve multi-objective optimization problems. Despite numerous successful applications, several studies have shown that the NSGA-II is less effective for larger numbers of objectives. In this work, we use mathematical runtime analyses to rigorously demonstrate and quantify this phenomenon. We show that even on the simple $m$-objective generalization of the discrete OneMinMax benchmark, where every solution is Pareto optimal, the NSGA-II also with large population sizes cannot compute the full Pareto front (objective vectors of all Pareto optima) in sub-exponential time when the number of objectives is at least three. The reason for this unexpected behavior lies in the fact that in the computation of the crowding distance, the different objectives are regarded independently. This is not a problem for two objectives, where any sorting of a pair-wise incomparable set of solutions according to one objective is also such a sorting according to the other objective (in the inverse order).

研究の動機と目的

• 多数の目的最適化問題におけるNSGA-IIのランタイム挙動を厳密に分析すること。
• 目的数が2つを超えて増加する際のNSGA-IIの非効率性の根本的要因を特定し、説明すること。
• NSGA-IIが指数時間にわたり完全なパレートフロントに収束しない程度を定量化すること。
• NSGA-IIの目的数の増加に伴う性能低下という経験的観察に対する理論的裏付けを提供すること。

提案手法

• 二目的ケースの一般化であるm目的OneMinMaxベンチマークにおける数学的ランタイム解析を実施する。
• NSGA-IIの選択におけるクラスタリング距離の役割を定義・分析し、それが目的関数間で独立していることに焦点を当てる。
• 確率的議論とドリフト解析を用いて、人口が定数割合のパレートフロントをカバーできない指数時間にわたる状態が続くことを証明する。
• n=40, m=4のOneMinMax問題に対して、N = 4M から 256M の異なる人口サイズを用いた実験を通じて理論的発見を検証する。
• NSGA-IIの挙動を合成的GSEMOと比較し、クラスタリング距離設計の影響を隔離する。
• クラスタリング距離の分布とその選択への影響を分析し、多くの解が0またはほぼ0の値を受けることを示す。

実験結果

リサーチクエスチョン

• RQ1 すべての解がパレート最適であるにもかかわらず、m ≥ 3 目的においてNSGA-IIがパレートフロントを効率的に探索できないのはなぜか？
• RQ2 NSGA-IIが多数の目的問題において非効率であることは、数学的に証明・定量化可能か？
• RQ3 クラスタリング距離がm ≥ 3 において、なぜ多様性の欠如と選択バイアスを引き起こすのか？
• RQ4 人口サイズの増加は、m目的OneMinMax問題におけるNSGA-IIの指数時間の障壁を緩和するか？
• RQ5 クラスタリング距離における目的関数の独立性が、パレート最適解の喪失をどのように引き起こすのか？

主な発見

• m ≥ 3 のすべてのケースにおいて、人口サイズがいくら大きくても、サブ指数時間内に完全なパレートフロントを計算できない。
• 人口サイズにかかわらず、定数割合のパレートフロントが指数時間にわたり欠落する。
• 実験により、N = 256M であっても、m=4, n=40 の条件下で、1000世代目の平均でカバーされるパレート解数は441個中291個にとどまることを確認した。
• クラスタリング距離値は著しく非対称であり、多くの解が0またはほぼ0の値を受けるため、ランダム選択が発生し、多様性の喪失が生じる。
• クラスタリング距離計算における目的関数の独立性により、目的空間で遠く離れた解が同様に近いと扱われ、選択が歪められる。
• 理論的解析により、二目的ケースとは異なり、m=3以降でNSGA-IIが著しく失敗する理由が説明された。