[论文解读] Enhancing SAEAs with Unevaluated Solutions: A Case Study of Relation Model for Expensive Optimization

Hao Hao, Xiaoqun Zhang+1 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出了一种新型的代理辅助进化算法（DRSO），通过利用自定义关系模型预测的未评估解直接生成高潜力后代，从而在昂贵优化中提升搜索效率。通过使用基于XGBoost的关系模型对解进行排序而无需实际评估，DRSO提高了种群多样性与收敛速度，在基准问题上的选择准确性和算法性能优于回归与分类模型。

ABSTRACT

Surrogate-assisted evolutionary algorithms (SAEAs) hold significant importance in resolving expensive optimization problems~(EOPs). Extensive efforts have been devoted to improving the efficacy of SAEAs through the development of proficient model-assisted selection methods. However, generating high-quality solutions is a prerequisite for selection. The fundamental paradigm of evaluating a limited number of solutions in each generation within SAEAs reduces the variance of adjacent populations, thus impacting the quality of offspring solutions. This is a frequently encountered issue, yet it has not gained widespread attention. This paper presents a framework using unevaluated solutions to enhance the efficiency of SAEAs. The surrogate model is employed to identify high-quality solutions for direct generation of new solutions without evaluation. To ensure dependable selection, we have introduced two tailored relation models for the selection of the optimal solution and the unevaluated population. A comprehensive experimental analysis is performed on two test suites, which showcases the superiority of the relation model over regression and classification models in the selection phase. Furthermore, the surrogate-selected unevaluated solutions with high potential have been shown to significantly enhance the efficiency of the algorithm.

研究动机与目标

• 解决每代实际评估次数有限导致SAEA中种群方差低的问题。
• 通过利用高质量的未评估解生成后代，提升昂贵优化中的搜索效率。
• 设计一种代理模型，使其对解质量排序的捕捉能力优于传统回归或分类模型。
• 验证未评估解在加速收敛与提升算法竞争力方面的有效性。

提出的方法

• 提出双关系模型框架（R-C1与R-C2），基于相对适应度或类别排名构建关系对，用于代理建模。
• 采用XGBoost从关系对中学习，并通过投票评分策略提升鲁棒性。
• 选择预测质量最佳的解进行实际评估，同时直接使用其他高潜力的未评估解生成新后代。
• 对未评估解应用繁殖算子（如EDA/LS中的算子），以维持种群多样性与探索能力。
• 维护一个外部档案，并通过实际评估结果与预测排名迭代更新代理模型。
• 引入参数$ t $控制用于后代生成的未评估解的比例，其中$ t=50\% $被发现为最优。

(a)

实验结果

研究问题

• RQ1 由代理模型预测的未评估解是否能有效提升SAEA中的种群多样性与收敛性？
• RQ2 关系模型在选择高质量解方面相较于回归与分类模型有何表现？
• RQ3 为实现最优算法性能，用于后代生成的未评估解最优比例$ t $是多少？
• RQ4 使用未评估解是否能显著提升SAEA的运行时收敛速度？
• RQ5 关系模型是否能准确预测解的质量并保持排序顺序，同时避免过拟合？

主要发现

• 关系模型（R-C1与R-C2）在选择准确性上优于XGBR与XGBC，其中R-C1表现出更集中的四分位距，R-C2则实现了更优的最大性能。
• 当$ t=50\% $时，DRSO在收敛速度上表现最佳，优于$ t=10\% $与$ t=30\% $的变体，尤其在Ellipsoid与Griewank函数上表现突出。
• 消融实验表明，若移除未评估解（DRSO’），收敛速度显著变慢，证明其在加速搜索中的关键作用。
• 关系模型有效保持了解之间的排序顺序，且避免了过拟合，而回归模型则存在此问题；同时，其划分粒度也优于分类模型。
• 在LZG与YLL测试集上，DRSO在20D与50D搜索空间中均展现出与EA、SAEA及贝叶斯优化方法相当的竞争力。
• 该算法在不同函数上表现稳定，$ t=50\% $被确定为探索与开发之间最优平衡点。

(a)