[論文レビュー] A suite of diagnostic metrics for characterizing selection schemes

Jose Guadalupe Hernandez, Alexander Lalejini+1 more|arXiv (Cornell University)|Apr 29, 2022

Evolutionary Algorithms and Applications被引用数 11

ひとこと要約

本稿では、進化計算における選択スキームの性能を特定の次元——強化（フィットネスの谷を伴う／伴わない）、マルチパス探索、谷を越える探索——に沿って評価するための8つの軽量で特化したテスト関数からなる診断用スイート、DOSSIERを紹介する。主な発見は、どの選択スキームも全指標で優れているわけではないこと——レキシカス選択は谷を越える探索で失敗し、フィットネス共有は唯一その分野で成功を収めたが、トーナメント／切断選択は探索を犠牲にして強化を重視し、アルゴリズム設計と選択戦略に重要なトレードオフを明らかにした。

ABSTRACT

Benchmark suites are crucial for assessing the performance of evolutionary algorithms, but the constituent problems are often too complex to provide clear intuition about an algorithm's strengths and weaknesses. To address this gap, we introduce DOSSIER ("Diagnostic Overview of Selection Schemes In Evolutionary Runs"), a diagnostic suite initially composed of eight handcrafted metrics. These metrics are designed to empirically measure specific capacities for exploitation, exploration, and their interactions. We consider exploitation both with and without constraints, and we divide exploration into two aspects: diversity exploration (the ability to simultaneously explore multiple pathways) and valley-crossing exploration (the ability to cross wider and wider fitness valleys). We apply DOSSIER to six popular selection schemes: truncation, tournament, fitness sharing, lexicase, nondominated sorting, and novelty search. Our results confirm that simple schemes (e.g., tournament and truncation) emphasized exploitation. For more sophisticated schemes, however, our diagnostics revealed interesting dynamics. Lexicase selection performed moderately well across all diagnostics that did not incorporate valley crossing, but faltered dramatically whenever valleys were present, performing worse than even random search. Fitness sharing was the only scheme to effectively contend with valley crossing but it struggled with the other diagnostics. Our study highlights the utility of using diagnostics to gain nuanced insights into selection scheme characteristics, which can inform the design of new selection methods.

研究の動機と目的

• 進化計算における選択スキームの挙動を理解するための直感的で特化した診断手法の不足に対処すること。
• 複雑なベンチマーク問題の影響を分離し、フィットネスの谷、マルチパス探索、制限付きの強化といった特定の探索空間の特性を独立して分析すること。
• 集計ベンチマーク性能を超えた、洗練された選択スキームの比較を可能にする診断フレームワークを提供すること。
• 現在の選択スキームの能力に見られるギャップを同定し、より強固な新規手法の設計を支援すること。
• 従来のベンチマークスイートとは異なり、高速で解釈可能で設定可能な代替手法を提供し、選択戦略の強み・弱みを評価すること。

提案手法

• 強化（谷を伴う／伴わない）、マルチパス探索、谷を越える探索という特定の探索空間特性の組み合わせをそれぞれターゲットにした8つの手作業で作成された診断テスト関数を設計する。
• トーナメント、切断、フィットネス共有、レキシカス、非優位ソーティング、ノベルティサーチの6つの広く使われている選択スキームに、それぞれの診断を適用する。
• 全診断において一貫した実験設定（集団サイズ、突然変異率、次元数）を採用し、比較可能性を確保する。
• 平均成功確率（50回の繰り返しによる）を性能指標とし、エラーバーで最良〜最悪のパフォーマンスのばらつきを示す。
• 診断プロファイルを生成し、各スキームの特定の問題特性における強み・弱みを可視化し、トレードオフを明らかにする。
• パラメータ設定を変えて追加の繰り返しを実施し、結果の頑健性と感度を評価する。

実験結果

リサーチクエスチョン

• RQ1 狭い勾配の強化やフィットネスの谷を越えるような、明確に定義された探索空間特性に対して、異なる選択スキームはどの程度の性能を示すか？
• RQ2 強化と探索の能力を独立してテストした場合、既存の選択スキームはそれらのバランスをどの程度維持できるか？
• RQ3 特に深いフィットネスの谷が存在する状況において、どの選択スキームが探索空間の複雑さに対して耐性を示すか？
• RQ4 選択スキーム間で強化と探索の能力の間には明確なトレードオフが存在するか？また、診断プロファイルによってそのトレードオフを可視化できるか？
• RQ5 診断結果は、複数のアプローチの長所を組み合わせたハイブリッドまたは改善された選択スキームの設計を支援できるか？

主な発見

• トーナメントおよび切断選択は強化を重視したが、すべての探索タスク、特に谷を越える探索とマルチパス探索で著しく劣っていた。
• レキシカス選択は、フィットネスの谷を含む診断を除き、全診断で中程度の成績を示したが、谷を越えるタスクではランダムサーチでさえも上回らなかった。
• フィットネス共有は、唯一フィットネスの谷を越える診断で顕著な進歩を示したが、順序付き強化などの他の指標では苦戦した。
• 非優位ソーティングは、矛盾する目的を管理する点で優れた性能を示したが、勾配強化や谷を越えるタスクでは弱い成績を収めた。
• ノベルティサーチは、設計上純粋に探索的であり、強化能力を一切持たなかった。
• 診断プロファイルは、各スキームが明確に重複しない強みを示しており、複数の課題を同時に解決するにはハイブリッドまたは適応的選択戦略の導入が不可欠であることを示唆した。