[论文解读] Multi-objective Pointer Network for Combinatorial Optimization

Le-yang Gao, Rui Wang+2 more|arXiv (Cornell University)|Apr 25, 2022

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本文提出多目标指针网络（MOPN），一种单模型深度强化学习框架，将指针网络扩展用于求解多目标组合优化问题（MOCOPs），如多目标TSP。通过改进输入结构并采用两种训练策略——代表性模型基与迁移学习，MOPN在推理速度和Pareto前沿收敛性方面优于当前最先进方法，相比DRL-MOA将训练时间减少60–80%，且在解的质量与多样性上超越元启发式算法。

ABSTRACT

Multi-objective combinatorial optimization problems (MOCOPs), one type of complex optimization problems, widely exist in various real applications. Although meta-heuristics have been successfully applied to address MOCOPs, the calculation time is often much longer. Recently, a number of deep reinforcement learning (DRL) methods have been proposed to generate approximate optimal solutions to the combinatorial optimization problems. However, the existing studies on DRL have seldom focused on MOCOPs. This study proposes a single-model deep reinforcement learning framework, called multi-objective Pointer Network (MOPN), where the input structure of PN is effectively improved so that the single PN is capable of solving MOCOPs. In addition, two training strategies, based on representative model and transfer learning, respectively, are proposed to further enhance the performance of MOPN in different application scenarios. Moreover, compared to classical meta-heuristics, MOPN only consumes much less time on forward propagation to obtain the Pareto front. Meanwhile, MOPN is insensitive to problem scale, meaning that a trained MOPN is able to address MOCOPs with different scales. To verify the performance of MOPN, extensive experiments are conducted on three multi-objective traveling salesman problems, in comparison with one state-of-the-art model DRL-MOA and three classical multi-objective meta-heuristics. Experimental results demonstrate that the proposed model outperforms all the comparative methods with only 20\% to 40\% training time of DRL-MOA.

研究动机与目标

• 为解决缺乏针对多目标组合优化问题（MOCOPs）的深度强化学习（DRL）方法的问题，MOCOPs属于NP难问题，广泛存在于现实应用场景中。
• 开发一种单模型DRL框架，可高效生成高质量Pareto最优解，无需迭代过程，与传统元启发式方法不同。
• 相比现有DRL模型（如DRL-MOA），减少训练时间并提升优化性能，后者需多个子-PN且训练时间长。
• 确保模型在不同问题规模下的泛化能力，使训练好的模型可直接应用于不同规模的MOCOPs而无需重新训练。
• 通过引入两种新型训练策略——代表性模型基与迁移学习基微调，提升解的多样性与收敛性。

提出的方法

• 通过改进输入结构扩展标准指针网络（PN），使其能同时处理多项目标，使模型可基于多目标代价向量关注并选择动作。
• 采用深度强化学习与策略梯度方法，以Pareto支配累积奖励作为训练信号，指导动作选择。
• 提出代表性模型基训练策略，从种群中选取多样化且高质量的解用于预训练MOPN，提升初始策略质量。
• 应用迁移学习，利用先前训练模型的知识对MOPN进行微调，加速新问题实例的收敛并提升性能。
• 在解码器中使用注意力机制，动态关注输入城市，使模型能生成优化多项目标的访问城市序列。
• 采用评论家网络作为基线，稳定训练并降低策略梯度方差，提升训练稳定性与收敛速度。

实验结果

研究问题

• RQ1 单个深度强化学习模型是否能有效求解多目标组合优化问题，而无需多个子模型或迭代启发式方法？
• RQ2 所提出的MOPN框架在多目标TSP实例上的性能与效率，相较于当前最先进DRL与经典元启发式方法表现如何？
• RQ3 所提出的两种训练策略——代表性模型基与迁移学习——在多大程度上提升了Pareto前沿的收敛性与多样性？
• RQ4 MOPN对问题规模变化的敏感性如何？单个训练好的模型是否能泛化于不同规模的MOCOP实例？
• RQ5 MOPN是否在收敛性与解多样性方面优于DRL-MOA及经典元启发式算法（如NSGAIII与MOEA/D）？

主要发现

• 在所有测试的多目标TSP实例中，MOPN在Pareto前沿的收敛性与多样性方面均优于DRL-MOA、NSGAIII与MOEA/D。
• MOPN-TL在解质量上优于MOPN-RM与DRL-MOA，尤其在优化第三项目标时表现更优，且Pareto前沿更均匀、无间隙。
• 与DRL-MOA相比，MOPN将训练时间减少60–80%，其中MOPN-RM在所有方法中训练时间最短。
• MOPN-RM对问题规模不敏感，可在无需重新训练的情况下部署于不同规模的MOCOP实例，展现出强大的泛化能力。
• 在三目标TSP（Ins.T2O3S200-1）中，MOPN-TL实现了最佳超体积（HV）值，表明其非支配解的收敛性与分布性更优。
• MOPN生成的Pareto前沿分布更均匀且无间隙，而DRL-MOA与元启发式算法生成的前沿则稀疏且碎片化。