[论文解读] A Two stage Adaptive Knowledge Transfer Evolutionary Multi-tasking Based on Population Distribution for Multi/Many-Objective Optimization

Zhengping Liang, Weiqi Liang+3 more|arXiv (Cornell University)|Jan 3, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 56被引用 10

一句话总结

该论文提出 EMT-PD，一种用于多/多目标优化的进化多任务算法，采用基于种群分布的两阶段自适应知识迁移。通过利用概率模型引导搜索并动态调整个体搜索范围，EMT-PD 提升了收敛性和多样性，在包含新设计的多目标基准测试集在内的多任务测试套件中，优于六种最先进算法。

ABSTRACT

Multi-tasking optimization can usually achieve better performance than traditional single-tasking optimization through knowledge transfer between tasks. However, current multi-tasking optimization algorithms have some deficiencies. For high similarity problems, the knowledge that can accelerate the convergence rate of tasks has not been fully taken advantages of. For low similarity problems, the probability of generating negative transfer is high, which may result in optimization performance degradation. In addition, some knowledge transfer methods proposed previously do not fully consider how to deal with the situation in which the population falls into local optimum. To solve these issues, a two-stage adaptive knowledge transfer evolutionary multi-tasking optimization algorithm based on population distribution, labeled as EMT-PD, is proposed. EMT-PD can accelerate and improve the convergence performance of tasks based on the knowledge extracted from the probability model that reflects the search trend of the whole population. At the first transfer stage, an adaptive weight is used to adjust the step size of individual's search, which can reduce the impact of negative transfer. At the second stage of knowledge transfer, the individual's search range is further adjusted dynamically, which can improve the diversity of population and be beneficial for jumping out of local optimum. Experimental results on multi-tasking multi-objective optimization test suites show that EMT-PD is superior to other six state-of-the-art evolutionary multi/single-tasking algorithms. To further investigate the effectiveness of EMT-PD on many-objective optimization problems, a multi-tasking many-objective test suite is also designed in this paper. The experimental results on the new test suite also demonstrate the competitiveness of EMT-PD.

研究动机与目标

• 解决现有多任务进化算法在处理高相似性和低相似性问题时的局限性。
• 通过基于种群分布自适应调整知识迁移，缓解多任务优化中的负迁移问题。
• 通过第二阶段知识迁移中动态调整搜索范围，提升种群多样性并逃离局部最优。
• 在多目标和多目标优化测试套件（包括新设计的多目标基准）上评估所提方法。
• 展示 EMT-PD 在六种最先进单任务与多任务进化算法中的优越性。

提出的方法

• 为每个任务构建概率模型，以捕捉种群的搜索趋势并提取可迁移知识。
• 在第一阶段知识迁移中引入一种新颖的自适应权重，以降低负迁移风险。
• 在第二阶段动态调整个体的搜索范围，以增强种群多样性并逃离局部最优。
• 通过跨任务概率模型的乘积生成知识迁移信号，以指导个体进化。
• 由于高通用性和在多样化测试问题上的强鲁棒性，将高斯概率模型作为默认选择。
• 通过基于迁移知识修改个体的变异和选择策略，将知识迁移整合进进化框架。

实验结果

研究问题

• RQ1 如何自适应地控制知识迁移，以最小化多任务多目标优化中的负迁移？
• RQ2 基于种群分布的概率模型在多任务进化算法中能在多大程度上提升收敛性和多样性？
• RQ3 两阶段知识迁移机制是否能有效平衡进化过程中的收敛性与多样性？
• RQ4 与最先进方法相比，EMT-PD 在多目标优化问题上的表现如何？
• RQ5 在多种优化任务中，哪种概率模型（高斯、指数、伽马、贝塔）能提供最鲁棒的性能？

主要发现

• EMT-PD 在多任务多目标优化测试套件中显著优于六种最先进进化算法。
• 高斯概率模型在所有测试问题中均保持最小的平均误差，尤其在 CI+MS、PI+MS、CEC2019-CMO9、MAF-HS2 和 MAF-LS2 上表现突出。
• 在 2019CEC-CMO5 和 2019CEC-CMO8 上，采用高斯模型的 EMT-PD 在 IGD 和 IGD+ 指标上均取得最佳表现，优于其他概率模型。
• 缺乏第二阶段知识迁移的变体 EMT-PD-1 表现较差，原因在于多样性不足且易陷入局部最优。
• 来自随机个体的知识迁移（EMT-SR、EMT-MR）或仅来自最优解的知识迁移（EMT-SH、EMT-MH）无法保证稳定收敛，证实了所提两阶段机制的必要性。
• 伽马概率模型在 NI+LS 上的收敛速度优于高斯模型，表明针对特定问题类型自适应选择模型可能具有潜在优势。