[论文解读] Enhancing Generalization and Scalability for Multi-Objective Optimization with Population Pre-Training

Haokai Hong, Min Jiang+2 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本文提出一种用于多目标优化的预演化模型（PEM），利用预训练的Transformer（PET）通过学习多样化MOPs中的演化模式，生成高质量种群。PET在基准问题上进行预演化，并通过迭代评估反馈在新MOPs上微调，显著优于现有最先进MOEAs，在大规模、多目标、约束及计算成本高昂的问题上表现突出。

ABSTRACT

Multi-objective optimization problems (MOPs) require the simultaneous optimization of conflicting objectives. Real-world MOPs often exhibit complex characteristics, including high-dimensional decision spaces, many objectives, or computationally expensive evaluations. While population-based evolutionary computation has shown promise in addressing diverse MOPs through problem-specific adaptations, existing approaches frequently lack generalizability across distinct problem classes. Inspired by pre-training paradigms in machine learning, we propose a Population Pre-trained Model (PPM) that leverages historical optimization knowledge to solve complex MOPs within a unified framework efficiently. PPM models evolutionary patterns via population modeling, addressing two key challenges: (1) handling diverse decision spaces across problems and (2) capturing the interdependency between objective and decision spaces during evolution. To this end, we develop a population transformer architecture that embeds decision spaces of varying scales into a common latent space, enabling knowledge transfer across diverse problems. Furthermore, our architecture integrates objective-space features through objective fusion to enhance population prediction accuracy for complex MOPs. Our approach achieves robust generalization to downstream optimization tasks with up to 5,000 dimensions--five times the training scale and 200 times greater than prior work. Extensive evaluations on standardized benchmarks and out-of-training real-world applications demonstrate the consistent superiority of our method over state-of-the-art algorithms tailored to specific problem classes, improving the performance and generalization of evolutionary computation in solving MOPs.

研究动机与目标

• 解决现有多目标进化算法（MOEAs）在处理多样化复杂MOPs时泛化能力差与可扩展性不足的挑战。
• 克服MOEAs在处理大规模决策变量、多目标、高成本评估及约束条件时的低效问题。
• 提出一种新型范式——预演化与微演化，受自然语言处理与计算机视觉中大规模预训练的启发，实现在不同问题间迁移学习到的演化知识。
• 开发一种通用优化框架，以可学习、自适应的模型替代传统种群繁殖算子。
• 在合成基准与真实世界应用中验证PET的有效性，包括具有有限评估次数的约束性、高维问题。

提出的方法

• 设计一种预演化模型（PEM）作为MOEAs中种群繁殖的通用替代方案，实现MOPs之间的迁移学习。
• 基于经典Transformer架构实现预演化Transformer（PET），通过维度嵌入与目标编码处理解种群。
• 在大量现有MOPs上预训练PET，以学习多样化问题类型中的有效演化模式。
• 通过迭代生成后代、评估其性能并基于反馈更新模型，实现对新MOPs的微调。
• 将PET集成到现有MOEAs（如NSGA-II、WOF）中，通过可学习模型替代标准繁殖算子（如SBX、DE或PM）。
• 在预演化阶段采用掩码训练（目标解被隐藏），在微演化阶段采用自回归生成（生成解被评估并反馈回模型）。

实验结果

研究问题

• RQ1 预训练模型是否能从多样化MOPs中学习到可泛化的演化模式，从而提升多目标优化中的种群质量？
• RQ2 与传统MOEAs相比，基于Transformer的模型是否通过预演化实现更好的泛化能力与可扩展性，尤其在大规模、多目标及计算成本高昂的问题上？
• RQ3 PET的微调过程是否能适应评估次数有限且存在约束的新MOPs，并实现更优性能？
• RQ4 预训练在提升MOEAs在具有复杂约束与高维性的真实世界应用中的性能方面，其增强作用有多大？
• RQ5 即使在预训练阶段未见过的问题上，所提出的预演化与微演化范式是否依然有效？

主要发现

• 在ZDT6问题上，PET在3,000和5,000个决策变量下相比次优算法提升了91.62，展现出在大规模问题上的强大性能。
• 在LSMOP 7–9问题上，PET在多目标（最多10个目标）、大规模（2,500–5,000维）及计算成本高昂（1,000次评估）的设置下，显著优于现有最先进MOEAs。
• 在具有3,000维与约束条件的真实世界TREE问题中，PET在全部五个实例（TREE 1–5）中均取得最佳结果，而部分基线方法未能找到可行解。
• 消融研究证实，未经预演化的PET性能不优于随机繁殖算子，证明预训练对有效性至关重要。
• PET在未预演化的任务上展现出涌现能力，表明其具备超越预训练分布的泛化潜力。
• 统计检验确认PET在大多数基准上表现更优（p < 0.05），显著提升结果以“+”号在表格中标记。