[论文解读] An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization

Dejun Xu, Min Jiang+4 more|arXiv (Cornell University)|Feb 24, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 51被引用 4

一句话总结

该论文提出ISVM-DMOEA，一种用于动态多目标优化的在线预测方法，通过增量支持向量机（ISVM）建模历史Pareto最优解之间的非线性关联。通过持续使用新解更新ISVM，并应用SMOTE处理数据不平衡问题，该方法生成高质量的初始种群，在基准测试问题上显著提升了收敛性和性能，优于现有最先进算法。

ABSTRACT

Real-world multiobjective optimization problems usually involve conflicting objectives that change over time, which requires the optimization algorithms to quickly track the Pareto optimal front (POF) when the environment changes. In recent years, evolutionary algorithms based on prediction models have been considered promising. However, most existing approaches only make predictions based on the linear correlation between a finite number of optimal solutions in two or three previous environments. These incomplete information extraction strategies may lead to low prediction accuracy in some instances. In this paper, a novel prediction algorithm based on incremental support vector machine (ISVM) is proposed, called ISVM-DMOEA. We treat the solving of dynamic multiobjective optimization problems (DMOPs) as an online learning process, using the continuously obtained optimal solution to update an incremental support vector machine without discarding the solution information at earlier time. ISVM is then used to filter random solutions and generate an initial population for the next moment. To overcome the obstacle of insufficient training samples, a synthetic minority oversampling strategy is implemented before the training of ISVM. The advantage of this approach is that the nonlinear correlation between solutions can be explored online by ISVM, and the information contained in all historical optimal solutions can be exploited to a greater extent. The experimental results and comparison with chosen state-of-the-art algorithms demonstrate that the proposed algorithm can effectively tackle dynamic multiobjective optimization problems.

研究动机与目标

• 为解决在动态多目标优化问题（DMOPs）中跟踪移动Pareto最优前沿的挑战。
• 克服现有方法中线性预测模型忽略非线性关联以及历史数据利用有限的局限性。
• 开发一种在线学习框架，持续整合新获得的最优解，同时保留历史信息而不丢弃。
• 通过增量学习与合成数据增强技术，提升动态环境中预测精度与种群质量。
• 在不同静态多目标优化算法上验证所提方法的通用性与鲁棒性。

提出的方法

• 该方法将动态多目标优化视为在线学习过程，每次获得新的最优解集后即更新增量支持向量机（ISVM）。
• ISVM学习来自多个时间步的最优解之间的非线性关系，从而准确预测新的Pareto最优集。
• 在ISVM训练前应用合成少数类过采样技术（SMOTE），以缓解训练样本不足的影响。
• 训练完成的ISVM用于筛选和选择高质量的随机解，构成下一环境的初始种群。
• 将该算法与静态多目标优化器（如RM-MEDA、NSGA-II、MOPSO）集成，形成混合框架ISVM-DMOEA。
• 系统具备动态适应能力：当检测到环境变化时，ISVM预测有希望的解区域，相应生成初始种群。

实验结果

研究问题

• RQ1 增量支持向量机能否有效建模动态多目标优化中随时间变化的Pareto最优解之间的非线性关联？
• RQ2 SMOTE与ISVM的结合在数据稀缺的动态优化场景中如何提升预测精度？
• RQ3 ISVM-DMOEA在收敛性和超体积指标方面，相较于现有基于预测的进化算法，性能提升程度如何？
• RQ4 所提方法在与不同静态多目标优化算法结合时，是否仍能保持优异性能？
• RQ5 ISVM的在线学习机制能否有效利用全部历史最优解数据，而无需丢弃过往信息？

主要发现

• 在DF1上，ISVM-DMOEA相较DA-RM-MEDA将MIGD平均提升了62.9%，在DF6上最高降幅达91.8%。
• 在DF6上，ISVM-DMOEA将平均MIGD从12.650（DA-RM-MEDA）降低至12.299，表明在高难度问题中仍具强大性能。
• ISVM-MOPSO变体在DF2上将平均MIGD降低68.2%，在其他四个问题上降幅超60%，展现出卓越的收敛速度。
• 消融实验证实，ISVM与SMOTE均对性能有显著贡献，其中ISVM在所有测试问题上均表现出一致的性能提升。
• 该方法展现出强适应能力，与NSGA-II和MOPSO集成后，MIGD改善幅度达22.6%至68.2%，优于基线算法。
• 该算法在具有复杂POF形状（如存在孔洞或非均匀分布）的问题中表现出鲁棒性，但在低相关性环境中仍面临挑战。