[論文レビュー] Mathematical Runtime Analysis for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II)

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 16, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

本稿は、NSGA-IIの最初の数学的ランタイム解析を提示し、母集団サイズがパレートフロントサイズの4倍である場合、OneMinMaxおよびLeadingOnesTrailingZeroesにおいて、SEM O や GSEMO といった単純なMOEAと同等の漸近的ランタイム保証を達成することを証明している。しかし、母集団サイズがパレートフロントサイズと等しい場合、指数的ランタイムを示し、全フロントを効率的にカバーできないため、小母集団領域における理論的・実験的限界を確認している。

ABSTRACT

The non-dominated sorting genetic algorithm II (NSGA-II) is the most intensively used multi-objective evolutionary algorithm (MOEA) in real-world applications. However, in contrast to several simple MOEAs analyzed also via mathematical means, no such study exists for the NSGA-II so far. In this work, we show that mathematical runtime analyses are feasible also for the NSGA-II. As particular results, we prove that with a population size four times larger than the size of the Pareto front, the NSGA-II with two classic mutation operators and four different ways to select the parents satisfies the same asymptotic runtime guarantees as the SEMO and GSEMO algorithms on the basic OneMinMax and LeadingOnesTrailingZeros benchmarks. However, if the population size is only equal to the size of the Pareto front, then the NSGA-II cannot efficiently compute the full Pareto front: for an exponential number of iterations, the population will always miss a constant fraction of the Pareto front. Our experiments confirm the above findings.

研究の動機と目的

• 実務で最も広く使用されている多目的進化的アルゴリズムであるNSGA-IIの、最初の厳密な数学的ランタイム解析を確立すること。
• 標準ベンチマーク上でのパレートフロント全体をカバーする際のNSGA-IIの効率に、母集団サイズがどのように影響するかを調査すること。
• 特に非優位ソーティングおよびクラスタリング距離に基づく二項トーナメント選択の親選択メカニズムが、ランタイムパフォーマンスに与える影響を分析すること。
• NSGA-IIの実験的挙動、特に母集団サイズが小さい場合の限界を説明する理論的保証を提供すること。

提案手法

• OneMinMaxおよびLeadingOnesTrailingZeroesにおける期待ランタイムの境界を求めるために、確率的議論とドリフト解析を用いた形式的数学的ランタイム解析を実施。
• 標準ビット反転を用いた2種類の変異演算子と、4種類の親選択戦略（Debの元々の実装に従い、2つの順列に基づく二項トーナメント選択を含む）を用いたNSGA-IIを分析。
• ランタイム保証のための新しいテールバウンドを導入・証明し、理論的予測の頑健性を向上。
• SEM O や GSEMO と同等のランタイムバウンドを達成するために、$ N = 4(n+1) $ の母集団サイズを用い、以前の要件 $ N \geq 5(n+1) $ よりも緩和。
• すべての結果について完全な証明を提供し、特にクラスタリング距離と非優位ソーティングの明示的取り扱いを含む、以前のバウンドの見直し・改善版を含む。
• 理論的発見の妥当性を検証するための拡張実験を実施し、複数回の実行および異なる問題サイズにおけるパラメータ分布の可視化を含む。

実験結果

リサーチクエスチョン

• RQ1 十分に大きな母集団サイズを用いる場合、NSGA-IIはSEM O や GSEMO と同等の漸近的ランタイム保証を達成するか？
• RQ2 母集団サイズがパレートフロントサイズと等しい場合、NSGA-IIのランタイムはどのように変化するか？
• RQ3 非優位ソーティングおよびクラスタリング距離を含む複雑な選択メカニズムを有するNSGA-IIに対しても、数学的ランタイム解析を成功裏に適用できるか？
• RQ4 特にランクとクラスタリング距離に基づく二項トーナメント選択という親選択戦略の選択が、NSGA-IIの収束速度にどのように影響するか？
• RQ5 小母集団サイズにおけるNSGA-IIのパレートフロントの近似度はどの程度か？また、全フロントを効率的にカバーできると期待できるか？

主な発見

• 母集団サイズが $ N = 4(n+1) $ の場合、NSGA-IIはOneMinMaxおよびLeadingOnesTrailingZeroesにおいて、SEM O や GSEMO と同等の漸近的ランタイム保証を達成し、以前の境界 $ N \geq 5(n+1) $ よりも改善された。
• 母集団サイズがパレートフロントサイズに正確に等しい場合（$ N = n+1 $）、NSGA-IIは指数的ランタイムを示し、全パレートフロントを効率的に計算できない。
• $ N = n+1 $ であっても、無限大のクラスタリング距離のおかげで、NSGA-IIはパレートフロントの両端点を素早く同定する。
• 母集団サイズ $ N = n+1 $ では、実際にはパレートフロントを良好に近似する。OneMinMaxでは6未満、LeadingOnesTrailingZeroesでは4未満の未カバー区間が3000～5000世代で観測される。
• 理論的解析により、母集団サイズが小さい場合、クラスタリング距離と選択の相互作用により、パレートフロント上の個体が失われる可能性があることが確認された。
• 実験により理論的発見が妥当であることが裏付けられ、小母集団では完全なカバレッジは達成されないが、フロントは良好に近似されており、全実行期間を通じて母集団はパレートフロント上に維持されている。