[论文解读] Interactive Evolutionary Multi-Objective Optimization via Learning-to-Rank

Ke Li, Guiyu Lai+1 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出了一种通用的交互式进化多目标优化框架，通过学习排序神经网络从整体成对比较中建模决策者（DM）的偏好。通过将偏好反馈以插件模块形式集成到任何现有EMO算法中，该方法能有效引导搜索过程朝向决策者偏好的解（SOI），在最多10个目标的48个基准问题上表现出稳健性能。

ABSTRACT

In practical multi-criterion decision-making, it is cumbersome if a decision maker (DM) is asked to choose among a set of trade-off alternatives covering the whole Pareto-optimal front. This is a paradox in conventional evolutionary multi-objective optimization (EMO) that always aim to achieve a well balance between convergence and diversity. In essence, the ultimate goal of multi-objective optimization is to help a decision maker (DM) identify solution(s) of interest (SOI) achieving satisfactory trade-offs among multiple conflicting criteria. Bearing this in mind, this paper develops a framework for designing preference-based EMO algorithms to find SOI in an interactive manner. Its core idea is to involve human in the loop of EMO. After every several iterations, the DM is invited to elicit her feedback with regard to a couple of incumbent candidates. By collecting such information, her preference is progressively learned by a learning-to-rank neural network and then applied to guide the baseline EMO algorithm. Note that this framework is so general that any existing EMO algorithm can be applied in a plug-in manner. Experiments on $48$ benchmark test problems with up to 10 objectives fully demonstrate the effectiveness of our proposed algorithms for finding SOI.

研究动机与目标

• 解决在高维多目标优化中识别决策者（DM）偏好的解（SOI）的挑战。
• 克服传统EMO方法仅追求在整个Pareto前沿上均匀收敛和多样性的局限性。
• 开发一种通用的、与算法无关的框架，将人机交互反馈整合到任何EMO算法中。
• 通过使用间接偏好获取（成对比较）而非直接偏好输入，减轻决策者的认知负担。
• 通过逐步学习并应用DM偏好，利用机器学习提高朝SOI搜索的效率和准确性。

提出的方法

• 提出三模块框架：咨询（反馈收集）、偏好获取（潜在偏好建模）和优化（通过学习到的偏好进行引导）。
• 使用整体成对比较作为间接偏好反馈，即DM从两个候选解中选择更偏好者。
• 训练一个学习排序（LTR）神经网络，从成对比较数据中建模DM的潜在偏好。
• 将学习到的偏好模型集成到任何EMO算法（如NSGA-II、MOEA/D、IBEA）的环境选择机制中。
• 通过梯度下降优化LTR模型，最小化基于观察到的成对偏好的排序损失。
• 通过将学习到的偏好转换为每种算法环境选择过程的定制化选择标准，确保与多种EMO算法的兼容性。

实验结果

研究问题

• RQ1 学习排序模型能否在交互式EMO中有效从成对比较中建模人类偏好？
• RQ2 与非偏好基EMO相比，所提出的框架在多大程度上提升了对决策者偏好的解（SOI）的收敛性？
• RQ3 在交互过程中，该框架对噪声或不一致偏好反馈的鲁棒性如何？
• RQ4 该框架能否在不进行算法特定设计的情况下，推广至不同类型的EMO算法（Pareto型、指标型和分解型）？
• RQ5 偏好获取中的噪声水平如何影响最终解集的近似精度？

主要发现

• 所提出的I-MOEA/D/LTR、I-NSGA-II/LTR和I-R2-IBEA/LTR变体在48个基准问题（最多10个目标）上始终收敛到DM偏好的解。
• 该框架对轻微偏好噪声具有鲁棒性：当噪声水平（κ）增加时，近似误差仍接近无噪声的“理想”情况。
• I-MOEA/D/LTR对高噪声水平（低κ）较为敏感，但仍保持可接受性能，表明具有中等鲁棒性。
• I-NSGA-II/LTR和I-R2-IBEA/LTR对噪声表现出高度韧性，表明其进化过程对精确偏好信号的依赖性较低。
• 学习排序模型能有效捕捉并应用DM偏好，与标准EMO相比，显著提升了朝SOI搜索的效率。
• 该框架具有良好的通用性，可通过插件架构无缝集成到多种EMO算法中。