[论文解读] A suite of diagnostic metrics for characterizing selection schemes

Jose Guadalupe Hernandez, Alexander Lalejini+1 more|arXiv (Cornell University)|Apr 29, 2022

Evolutionary Algorithms and Applications被引用 11

一句话总结

本文提出了 DOSSIER，一个由八个轻量级、针对性测试函数组成的诊断套件，用于评估进化算法中选择策略在特定维度上的表现：开发（是否含有适应度山谷）、多路径探索以及跨山谷探索。主要发现是：没有一种选择策略在所有指标上都表现优异——lexicase 在跨山谷任务中表现不佳，而适应度共享在该任务中唯一取得成功；锦标赛/截断选择策略虽强调开发，但以牺牲探索能力为代价，揭示了算法设计中关键的权衡关系。

ABSTRACT

Benchmark suites are crucial for assessing the performance of evolutionary algorithms, but the constituent problems are often too complex to provide clear intuition about an algorithm's strengths and weaknesses. To address this gap, we introduce DOSSIER ("Diagnostic Overview of Selection Schemes In Evolutionary Runs"), a diagnostic suite initially composed of eight handcrafted metrics. These metrics are designed to empirically measure specific capacities for exploitation, exploration, and their interactions. We consider exploitation both with and without constraints, and we divide exploration into two aspects: diversity exploration (the ability to simultaneously explore multiple pathways) and valley-crossing exploration (the ability to cross wider and wider fitness valleys). We apply DOSSIER to six popular selection schemes: truncation, tournament, fitness sharing, lexicase, nondominated sorting, and novelty search. Our results confirm that simple schemes (e.g., tournament and truncation) emphasized exploitation. For more sophisticated schemes, however, our diagnostics revealed interesting dynamics. Lexicase selection performed moderately well across all diagnostics that did not incorporate valley crossing, but faltered dramatically whenever valleys were present, performing worse than even random search. Fitness sharing was the only scheme to effectively contend with valley crossing but it struggled with the other diagnostics. Our study highlights the utility of using diagnostics to gain nuanced insights into selection scheme characteristics, which can inform the design of new selection methods.

研究动机与目标

• 为解决进化算法中选择策略行为缺乏直观、针对性的诊断方法的问题。
• 通过隔离搜索空间中的特定特征（如适应度山谷、多路径探索、受限开发）来厘清复杂基准问题的影响。
• 提供一种诊断框架，使选择策略的比较超越整体基准性能，实现更细致的分析。
• 识别当前选择策略能力的短板，并指导设计更鲁棒的新方法。
• 提供一种快速、可解释且可配置的替代方案，以取代传统基准套件，用于评估选择策略的优势与劣势。

提出的方法

• 设计八个手工构造的诊断测试函数，每个函数针对特定的搜索空间特征组合：开发（含/不含山谷）、多路径探索、以及跨山谷探索。
• 将每个诊断测试应用于六种广泛使用的选择策略：截断、锦标赛、适应度共享、lexicase、非支配排序和新颖性搜索。
• 在所有诊断测试中采用一致的实验配置（种群规模、突变率、维度）以确保可比性。
• 通过50次重复实验的平均成功率评估性能，误差线表示最佳到最差表现的差异。
• 生成诊断图谱以可视化不同策略在各项指标上的权衡，突出其在特定问题特征下的优势与劣势。
• 使用补充的重复实验，采用不同参数配置，评估结果的鲁棒性与敏感性。

实验结果

研究问题

• RQ1 不同选择策略在孤立、明确的搜索空间特征（如狭窄梯度开发与适应度山谷穿越）上的表现如何？
• RQ2 当开发与探索能力被独立测试时，现有选择策略在多大程度上能实现两者的平衡？
• RQ3 哪些选择策略在面对更高复杂度的搜索空间（特别是深层适应度山谷）时表现出更强的鲁棒性？
• RQ4 选择策略在开发与探索能力之间是否存在可识别的权衡？这些权衡能否通过诊断图谱可视化？
• RQ5 诊断结果能否用于指导混合或改进型选择策略的设计，以整合多种方法的优势？

主要发现

• 锦标赛与截断选择策略强调开发，但在所有探索任务中表现欠佳，尤其在跨山谷探索与多路径探索中表现最差。
• lexicase 选择策略在除涉及适应度山谷的诊断外均表现中等，但在适应度山谷任务中表现甚至不如随机搜索。
• 适应度共享是唯一在适应度山谷穿越诊断中取得显著进展的策略，尽管其在其他指标（如有序开发）上表现较弱。
• 非支配排序在处理矛盾目标方面表现出色，但在梯度开发与跨山谷任务中表现较弱。
• 新颖性搜索完全专注于探索，不具备任何开发能力，这与其设计初衷一致。
• 诊断图谱揭示了各策略之间明显且不重叠的优势，凸显了同时应对多重挑战时需要采用混合或自适应选择策略。