[论文解读] An Improved Reinforcement Learning Algorithm for Learning to Branch

Qingyu Qu, Xijun Li+7 more|arXiv (Cornell University)|Jan 17, 2022

Machine Learning and Data Classification被引用 10

一句话总结

该论文提出了一种新颖的强化学习（RL）算法，用于在混合整数线性规划（MILP）中学习分支策略，该算法结合了模仿学习与自我改进的强化学习。通过利用强分支（strong branching）生成的演示数据，并采用优先级经验回放缓冲区动态平衡专家数据与自生成数据，该方法加速了早期训练，并通过更优的Q网络提升了鲁棒性。该方法在基准问题上实现了最先进性能，相较于启发式规则和一种SOTA模仿学习方法，性能提升最高达35.88%。

ABSTRACT

Most combinatorial optimization problems can be formulated as mixed integer linear programming (MILP), in which branch-and-bound (B\&B) is a general and widely used method. Recently, learning to branch has become a hot research topic in the intersection of machine learning and combinatorial optimization. In this paper, we propose a novel reinforcement learning-based B\&B algorithm. Similar to offline reinforcement learning, we initially train on the demonstration data to accelerate learning massively. With the improvement of the training effect, the agent starts to interact with the environment with its learned policy gradually. It is critical to improve the performance of the algorithm by determining the mixing ratio between demonstration and self-generated data. Thus, we propose a prioritized storage mechanism to control this ratio automatically. In order to improve the robustness of the training process, a superior network is additionally introduced based on Double DQN, which always serves as a Q-network with competitive performance. We evaluate the performance of the proposed algorithm over three public research benchmarks and compare it against strong baselines, including three classical heuristics and one state-of-the-art imitation learning-based branching algorithm. The results show that the proposed algorithm achieves the best performance among compared algorithms and possesses the potential to improve B\&B algorithm performance continuously.

研究动机与目标

• 为解决基于强化学习的MILP分支策略中探索速度慢、方差高的问题，通过专家演示数据加速学习过程。
• 通过优先级存储机制动态控制演示数据与自生成数据的混合比例，提升训练稳定性和性能。
• 通过引入基于Double DQN的更优Q网络，提升在高维状态空间与大动作空间环境下的鲁棒性。
• 在分支定界法（branch-and-bound）求解MILP问题中，超越现有启发式方法与模仿学习基线。

提出的方法

• 该算法利用强分支生成的演示数据对RL智能体进行预训练，加速早期学习过程。
• 采用优先级经验回放缓冲区，在训练过程中自动控制专家演示与自生成数据的混合比例。
• 该方法采用基于Double DQN的架构，并引入更优的Q网络，确保训练全程保持优异性能。
• 智能体将变量选择建模为马尔可夫决策过程（MDP），状态特征源自当前单纯形表与分支决策。
• 随着性能提升，训练过程逐步从以演示引导学习过渡到以自我探索策略优化为主。
• 该算法在三个公开的MILP基准上进行评估，采用对偶积分（dual integral）与节点数作为性能指标。

实验结果

研究问题

• RQ1 演示数据是否能显著加速MILP分支策略中RL智能体的训练？
• RQ2 在RL训练过程中，如何有效且自动地控制专家演示与自生成数据的比例，以避免低质量数据导致性能下降？
• RQ3 在高维MILP环境与大动作空间中，更优的Q网络是否能提升训练稳定性和性能？
• RQ4 将模仿学习与自我改进的强化学习相结合，是否能在MILP分支中实现优于纯模仿学习或传统启发式方法的性能？

主要发现

• 所提算法在所有三个基准测试中均取得最高得分：在Balanced Item Placement任务中得分为32,547,931，在Workload Apportionment与Anonymous Problem任务中均为32,446,178。
• 在Balanced Item Placement基准的100个实例中，该算法赢得42个，显著优于SOTA模仿学习方法（29胜）与所有启发式基线。
• 与模仿学习基线相比，该算法在Balanced Item Placement基准上将对偶积分降低了最高达35.88%。
• 消融实验表明，更优的Q网络与优先级回放机制对实现稳定且高效的训练至关重要，而基线Double DQN则未能有效学习。
• 对偶边界曲线显示，所提方法在更少节点数下更快达到最优解，优于所有基线方法。
• 该方法展现出持续的性能提升潜力，随着训练过程推进，所提组件使模型性能逐步稳定并持续优化。