[論文レビュー] Theoretical Analyses of Multiobjective Evolutionary Algorithms on Multimodal Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 14, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 62被引用数 10

ひとこと要約

この論文は、単目的のJump関数にインspiredされた二目的多モーダルベンチマークであるOneJumpZeroJump問題を導入し、非一様モーダル問題における多目的進化的アルゴリズム（MOEAs）の研究を目的としている。理論的分析により、SEMOは完全なパレートフロントに到達できないが、GSEMOはΘ((n−2k)n^k)の期待反復回数でそれを達成できることを示している。さらに、重ね尾型変異または停滞検出を用いることで、実行時間はk^{Ω(k)}の要因で向上する。

ABSTRACT

The theoretical understanding of MOEAs is lagging far behind their success in practice. In particular, previous theory work considers mostly easy problems that are composed of unimodal objectives. As a first step towards a deeper understanding of how evolutionary algorithms solve multimodal multiobjective problems, we propose the OJZJ problem, a bi-objective problem composed of two objectives isomorphic to the classic jump function benchmark. We prove that SEMO with probability one does not compute the full Pareto front, regardless of the runtime. In contrast, for all problem sizes $n$ and all jump sizes ${k \in [4..\frac n2 - 1]}$, the global SEMO (GSEMO) covers the Pareto front in an expected number of $Θ((n-2k)n^{k})$ iterations. For $k = o(n)$, we also show the tighter bound $\frac 32 e n^{k+1} \pm o(n^{k+1})$, which might be the first runtime bound for an MOEA that is tight apart from lower-order terms. We also combine the GSEMO with two approaches that showed advantages in single-objective multimodal problems. When using the GSEMO with a heavy-tailed mutation operator, the expected runtime improves by a factor of at least $k^{Ω(k)}$. When adapting the recent stagnation-detection strategy of Rajabi and Witt (2022) to the GSEMO, the expected runtime also improves by a factor of at least $k^{Ω(k)}$ and surpasses the heavy-tailed GSEMO by a small polynomial factor in $k$. Via an experimental analysis, we show that these asymptotic differences are visible already for small problem sizes: A factor-$5$ speed-up from heavy-tailed mutation and a factor-$10$ speed-up from stagnation detection can be observed already for jump size~$4$ and problem sizes between $10$ and $50$. Overall, our results show that the ideas recently developed to aid single-objective evolutionary algorithms to cope with local optima can be effectively employed also in multiobjective optimization.

研究の動機と目的

• 実世界の応用で一般的な多モーダルな多目的最適化問題におけるMOEAsの理論的理解の不足に対処すること。
• 単目的のJump関数に類似した、多モーダル性の挑戦を捉えた新しいベンチマーク問題を開発すること。
• 標準的および強化されたMOEAsの性能を、特に完全なパレートフロントへの到達能力に焦点を当てて分析すること。
• 単目的最適化で有効な手法（重ね尾型変異や停滞検出）が、多目的最適化でもMOEAの性能向上に寄与するかを調査すること。

提案手法

• 古典的なJump関数の二目的版として、1と0の数に基づく二つの目的関数を持つOneJumpZeroJump問題を提案する。
• 数学的実行時間解析を用いて、GSEMOが完全なパレートフロントに到達するまでの期待時間の評価を行う。
• 局所最適解からの脱出をより効率的に行うために、べき則分布から変異率をサンプリングする重ね尾型変異を適用する。
• RajabiとWitt（2022）が提案した停滞検出メカニズムをMOEAsに適応し、探索プロセスにおける停滞を検出し、それに反応する。
• きつい実行時間推定を確立するために、下界Ω((n−2k)n^k)と上界O((n−2k+3)n^k)を厳密に導出する。
• 理論的結果を実験的分析で検証し、小規模な問題サイズ（n ∈ [10,50]、k=4）において、実際の実行時間の短縮が観測された。

実験結果

リサーチクエスチョン

• RQ1 標準的MOEA（例：SEMO）は、二目的多モーダル問題の完全なパレートフロントを計算できるか？
• RQ2 異なる問題サイズおよびジャンプサイズにおける、提案されたOneJumpZeroJumpベンチマーク上でのGSEMOの期待実行時間は何か？
• RQ3 重ね尾型変異は、多モーダルな多目的最適化問題においてGSEMOの実行時間を向上させることができるか？その向上率はどの程度か？
• RQ4 単目的最適化で有効であった停滞検出メカニズムは、MOEAsに適応可能であり、同様の性能向上を達成できるか？
• RQ5 高度なメカニズムによる漸近的改善は、小規模な問題インスタンスに対しても観測可能な高速化に反映されるか？

主な発見

• SEMOは、パレートフロントの構造が非連結であるため、任意の実行時間においても完全なパレートフロントを確率1で計算できない。
• GSEMOは、すべてのnおよびk ∈ [4, n/2−1]に対して、完全なパレートフロントをΘ((n−2k)n^k)の期待反復回数で達成する。k=o(n)の場合、よりタイトな境界3/2 e n^{k+1} ± o(n^{k+1})が得られる。
• 重ね尾型変異は、標準的なビット反転変異と比較して、GSEMOの期待実行時間を少なくともk^{Ω(k)}の要因で改善する。
• 停滞検出は、GSEMOの期待実行時間を少なくともk^{Ω(k)}で改善し、重ね尾型GSEMOと比較してわずかに優れた多項式的要因（kの関数）で性能を上回る。
• 実験結果により、これらの漸近的利点が実際の高速化に反映されていることが確認された：k=4およびn∈[10,50]の条件下で、重ね尾型変異による5倍の高速化と、停滞検出による10倍の高速化が観測された。
• これらの結果は、単目的最適化で開発された手法が、多目的設定においても転送可能で有効であることを示唆しており、小規模な問題サイズに対しても有効である。