[论文解读] Meta-SAGE: Scale Meta-Learning Scheduled Adaptation with Guided Exploration for Mitigating Scale Shift on Combinatorial Optimization

Jiwoo Son, Minsu Kim+2 more|arXiv (Cornell University)|Jun 5, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

Meta-SAGE 提出了一种用于组合优化中深度强化学习模型的测试时适应框架，结合了用于尺度感知上下文嵌入的尺度元学习器（SML）与具有引导探索的调度适应（SAGE），后者引入了衰减的局部性偏差。该方法在大规模 TSP、CVRP 及相关问题上实现了最先进性能，显著减少了适应迭代次数并提升了可扩展性。

ABSTRACT

This paper proposes Meta-SAGE, a novel approach for improving the scalability of deep reinforcement learning models for combinatorial optimization (CO) tasks. Our method adapts pre-trained models to larger-scale problems in test time by suggesting two components: a scale meta-learner (SML) and scheduled adaptation with guided exploration (SAGE). First, SML transforms the context embedding for subsequent adaptation of SAGE based on scale information. Then, SAGE adjusts the model parameters dedicated to the context embedding for a specific instance. SAGE introduces locality bias, which encourages selecting nearby locations to determine the next location. The locality bias gradually decays as the model is adapted to the target instance. Results show that Meta-SAGE outperforms previous adaptation methods and significantly improves scalability in representative CO tasks. Our source code is available at https://github.com/kaist-silab/meta-sage

研究动机与目标

• 通过实现对更大问题规模的高效适应，弥合深度强化学习（DRL）模型在组合优化（CO）中可扩展性的差距。
• 克服现有测试时适应方法在源（小规模）与目标（大规模）问题之间存在大规模分布偏移时的低效性。
• 在无需在大规模数据上重新训练的情况下，提升预训练 DRL 模型对未见大规模 CO 实例的迁移能力。
• 通过引入结构化、尺度感知的参数更新和引导探索策略，提升适应效率。
• 在 TSP、CVRP、打家劫舍 TSP 和定向旅行问题等大规模 CO 任务上实现高性能，同时保持极低的适应开销。

提出的方法

• 引入一种尺度元学习器（SML），通过双层优化结构元优化后续 SAGE 适应过程，生成尺度条件化的上下文嵌入。
• 设计具有引导探索的调度适应（SAGE），在推理过程中通过引入局部性偏差来鼓励选择邻近节点，且该偏差随适应步骤逐渐衰减。
• 将适应过程解耦为两个调度目标：局部性偏差衰减与 SoftMax 温度调节，从而实现对探索与利用权衡的可控调节。
• 在 DRL 策略中使用掩码机制以强制执行约束（如 CVRP 中的容量限制），确保适应过程中的可行性。
• 利用预训练模型（如 Sym-NCO）作为初始化，通过上下文感知适应实现对大规模问题的零样本迁移。
• 将 SML 目标形式化为双层优化问题，以摊销参数更新过程，确保 SAGE 的有效初始化。

实验结果

研究问题

• RQ1 基于元学习的上下文嵌入机制是否能提升大规模组合优化问题测试时适应的效率？
• RQ2 在适应过程中引入衰减的局部性偏差是否能提升收敛速度和解的质量？
• RQ3 具有双重调度（局部性偏差与 SoftMax 温度）的调度适应在多大程度上减少了达到高性能所需的适应步骤数？
• RQ4 在大规模 TSP 和 CVRP 上，Meta-SAGE 与现有适应基线相比在可扩展性和解质量方面表现如何？
• RQ5 在合适的预训练模型下，该方法是否能泛化至非欧几里得 CO 问题？

主要发现

• 在 1,000 个节点的 CVRP 上，Meta-SAGE 实现了 0.68% 的最优差距，显著优于先前的适应方法。
• 在 500 个节点的 TSP 上，当完整使用各组件时，Meta-SAGE 将最优差距降低至 17.22%，而未使用 SML 时为 18.63%。
• SML 的引入使输入与适配后嵌入之间的 L1 距离平均减少 11%（TSP：8,066.13 → 7,175.99；CVRP：10,361.51 → 9,285.22），表明嵌入对齐得到改善。
• 消融研究证实 SML 和 SAGE 组件均不可或缺：移除任一组件均导致性能显著下降。
• 当输入规模与目标规模匹配时，SML 表现最佳，表明上下文嵌入生成具有强尺度感知能力。
• Meta-SAGE 在真实世界 CVRP 基准上表现出可行性，表明其对超出尺度变化的实例级分布偏移具有鲁棒性。