[论文解读] Learning a Generic Value-Selection Heuristic Inside a Constraint Programming Solver

Marty, Tom, François, Tristan+4 more|arXiv (Cornell University)|Jun 16, 2017

Reinforcement Learning in Robotics参考文献 28被引用 521

一句话总结

本文提出价值分解网络（VDN），一种深度强化学习架构，通过将团队级价值函数分解为个体智能体的价值函数，实现仅依赖单一联合奖励信号的协作式多智能体学习。通过反向传播总Q值梯度至各独立网络，VDN缓解了‘懒惰智能体’问题与虚假奖励问题，在多个部分可观测环境中表现优于集中式与独立式学习基线，尤其在结合权重共享与信息通道时效果更佳。

ABSTRACT

Constraint programming is known for being an efficient approach to solving combinatorial problems. Important design choices in a solver are the branching heuristics, designed to lead the search to the best solutions in a minimum amount of time. However, developing these heuristics is a time-consuming process that requires problem-specific expertise. This observation has motivated many efforts to use machine learning to automatically learn efficient heuristics without expert intervention. Although several generic variable-selection heuristics are available in the literature, the options for value-selection heuristics are more scarce. We propose to tackle this issue by introducing a generic learning procedure that can be used to obtain a value-selection heuristic inside a constraint programming solver. This has been achieved thanks to the combination of a deep Q-learning algorithm, a tailored reward signal, and a heterogeneous graph neural network. Experiments on graph coloring, maximum independent set, and maximum cut problems show that this framework competes with the well-known impact-based and activity-based search heuristics and can find solutions close to optimality without requiring a large number of backtracks.

研究动机与目标

• 解决仅依赖联合奖励信号时，在协作式多智能体强化学习中出现的‘懒惰智能体’问题与虚假奖励问题。
• 开发一种方法，使个体智能体在无需显式奖励塑形或完全环境可观测性的情况下学习有效策略。
• 通过可学习的价值分解机制，提升部分可观测多智能体环境中的样本效率与协作能力。
• 在多样化基准任务中，评估VDN相较于集中式与独立式学习方法的有效性。
• 探究权重共享、角色信息与通信通道等辅助组件对VDN性能的影响。

提出的方法

• 提出一种新颖的价值分解网络（VDN），学习将联合Q函数分解为个体智能体Q函数的加法形式。
• 采用端到端深度学习，通过各独立网络反向传播总Q值梯度，实现个体价值函数的联合优化。
• 在智能体之间采用共享神经网络架构（权重共享），以提升样本效率与泛化能力。
• 引入角色信息与信息通道以增强协作，尤其在非对称任务中表现更优。
• 在集中式训练、去中心化执行（CTDE）范式下应用VDN架构，实现独立推理的同时联合训练。
• 使用经验回放与目标网络以稳定训练，方法与深度Q网络（DQN）类似，但已适配至多智能体环境。

实验结果

研究问题

• RQ1 可学习的价值分解机制是否能在仅依赖联合奖励的协作式多智能体强化学习中超越集中式与独立式学习？
• RQ2 价值分解如何缓解由部分可观测性与非平稳性引发的‘懒惰智能体’问题？
• RQ3 权重共享、角色信息与通信通道对价值分解智能体性能的影响如何？
• RQ4 VDN是否能在无需任务特定奖励塑形的情况下，泛化至多样化部分可观测多智能体环境？
• RQ5 价值分解是否能产生更具可解释性与解耦性的价值函数，准确反映个体对团队奖励的贡献？

主要发现

• VDN在全部七个基准任务中持续优于集中式与独立式学习基线，显著提升归一化曲线下面积（AUC）与最终性能。
• 在单走廊Fetch任务中，采用权重共享与角色信息的VDN实现完美性能，而非共享变体则表现出‘懒惰智能体’问题。
• 引入信息通道可提升学习速度与协作能力，尤其在Checkers等非对称任务中（智能体奖励幅度不同）效果显著。
• 所学习的Q值分解成功将团队奖励解耦为各智能体的独立贡献，如图6所示，各智能体Q函数在拾取与放置事件时独立触发峰值。
• 采用共享权重与角色信息的VDN可完美解决单走廊Fetch任务，而独立学习者与集中式智能体则无法有效协调。
• 由LSTM处理的低层级通信通道优于高层级集中式通信，表明多智能体观测的早期融合可增强学习效果。