[論文レビュー] Runtime Analysis for the NSGA-II: Provable Speed-Ups From Crossover

Benjamin Doerr, Zhongdi Qu|arXiv (Cornell University)|Aug 18, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 48被引用数 8

ひとこと要約

本稿は、NSGA-IIにおける交差がOneJumpZeroJumpベンチマークで漸近的高速化をもたらすことを数学的ランタイム解析によって初めて証明した。k ≥ c log(N)/log log(N) のとき、期待ランタイムをO(Nn^k)からO(N²n^k / Θ(k)^k)に短縮する。この高速化は、同一の目的関数値を持つ解における多様性を交差が活用するメカニズムに起因し、これは従来の変異のみのアルゴリズムや単目的GAの解析では捉えられていない。

ABSTRACT

Very recently, the first mathematical runtime analyses for the NSGA-II, the most common multi-objective evolutionary algorithm, have been conducted. Continuing this research direction, we prove that the NSGA-II optimizes the OneJumpZeroJump benchmark asymptotically faster when crossover is employed. Together with a parallel independent work by Dang, Opris, Salehi, and Sudholt, this is the first time such an advantage of crossover is proven for the NSGA-II. Our arguments can be transferred to single-objective optimization. They then prove that crossover can speed up the $(μ+1)$ genetic algorithm in a different way and more pronounced than known before. Our experiments confirm the added value of crossover and show that the observed advantages are even larger than what our proofs can guarantee.

研究の動機と目的

• NSGA-IIにおける交差が多目的問題において変異のみのバージョンよりも漸近的ランタイム優位性を示すことを数学的に証明すること。
• NSGA-IIにおける収束の加速が、同一の目的関数値を持つ解の多様性を通じてどのように実現されるかのメカニズムを説明すること。
• 解析を単目的最適化に拡張し、NSGA-IIと同様の$(\mu+1)$ GAがジャンプ関数を最適化する際にも交差が性能向上をもたらすことを示すこと。
• 理論的予測を超えるより強い実験的高速化を示す実験により理論的 findings を検証すること。
• 従来の知られている高速化パターンとは異なる、局所最適解からの脱出を助ける交差の新たなメカニズムを同定すること。

提案手法

• バイオブジェクティブなOneJumpZeroJumpベンチマーク（古典的ジャンプ関数の多目的拡張）におけるNSGA-IIアルゴリズムに交差を適用し、解析する。
• 交差が同一の目的関数値を持つ多様な解を生成・維持する方法を追跡する、新しい分析フレームワークを用いる。
• 交差を含む場合、期待ランタイムがO(N²n^k / Θ(k)^k)であることを証明し、k ≥ c log(N)/log log(N) のとき、変異のみのNSGA-IIのO(Nn^k)より漸近的に高速であることを示す。
• 多様性に基づく議論を$(\mu+1)$ GAに応用し、ジャンプ関数最適化におけるランタイムがO(μ^{k+1}n^k / Θ(k)^k)であることを示す。
• n=100およびn=1000で、一様交差とビットワイズ変異を用いた実験を実施し、さまざまな集団サイズにおける適応度評価回数を測定する。
• 交差ベースのNSGA-IIおよび$(\mu+1)$ GAを変異のみのバージョンと比較し、特に小規模な定数μと増加するkにおける高速化を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 NSGA-IIにおける交差は、変異のみのNSGA-IIと比較してベンチマーク問題におけるランタイムを明確に短縮できるか？
• RQ2 NSGA-IIにおける収束の加速は、非支配解に存在する多様性の存在下で、どのように実現されるか？
• RQ3 NSGA-IIにおける交差の利点は、$(\mu+1)$ GAのような単目的進化計算アルゴリズムにも拡張可能か？
• RQ4 理論的高速化と実際の性能向上の間には、どの程度の乖離があるか？
• RQ5 このランタイム解析フレームワークは、NSGA-IIや$(\mu+1)$ GAを越えて、他の交差ベースの進化計算アルゴリズムへ一般化可能か？

主な発見

• NSGA-IIにおける交差は、OneJumpZeroJumpベンチマークにおける期待ランタイムをO(Nn^k)からO(N²n^k / Θ(k)^k)に短縮し、k ≥ c log(N)/log log(N) のとき、漸近的に顕著な高速化が得られる。
• この高速化は、同一の目的関数値を持つ解における多様性を交差が活用するメカニズムに起因し、これは従来のSEMO類似アルゴリズムの解析では捉えられていなかった。
• $(\mu+1)$ GAにおいては、O(μ^{k+1}n^k / Θ(k)^k)のランタイムが得られ、これは変異のみのバージョンのΩ(n^k)の下界よりも、kが増加するにつれて顕著に高速である。
• 実験により、交差が小集団サイズ（例：μ=2 や μ=4）に対しても顕著な高速化をもたらすことが確認され、観測された改善は理論的予測を上回っていた。
• 本稿は、局所最適解からの脱出を助ける交差の新たなメカニズムを示した—同一の目的関数値を持つ多様なゲノタイプを組み合わせることで、従来の進化計算アルゴリズムにおける高速化パターンとは異なる。
• 本稿は、現在の理論におけるギャップを特定した—上界は証明されたが、交差ベースNSGA-IIの下界は確立されておらず、上界のタイトさがどの程度かは未解決のままである。