[论文解读] Deep Q-Learning for Directed Acyclic Graph Generation

Laura D'Arcy, Padraig Corcoran+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 8被引用 6

一句话总结

该论文提出了一种基于深度Q-learning的方法，利用图卷积网络近似Q值，以生成具有指定拓扑结构和节点类型的有向无环图（DAG）。通过将节点和边的添加视为单一动作，该方法在稀疏奖励环境中实现了高效的DAG生成，尽管动作空间呈指数级增长，但在小型DAG上仍取得了较高的成功率。

ABSTRACT

We present a method to generate directed acyclic graphs (DAGs) using deep reinforcement learning, specifically deep Q-learning. Generating graphs with specified structures is an important and challenging task in various application fields, however most current graph generation methods produce graphs with undirected edges. We demonstrate that this method is capable of generating DAGs with topology and node types satisfying specified criteria in highly sparse reward environments.

研究动机与目标

• 开发一种无需预先训练数据的强化学习方法，用于生成有向无环图（DAG）。
• 通过使用函数逼近的深度Q-learning，解决DAG生成中的稀疏奖励问题。
• 通过使用单动作机制同时添加节点和边，实现支持多种节点类型和连续特征的可扩展DAG生成。
• 通过使用深度神经网络处理大规模状态和动作空间，克服表格型Q-learning的局限性。
• 通过批量动作选择考虑边添加中的对称性，提升学习效率。

提出的方法

• 该方法将DAG生成过程建模为马尔可夫决策过程，其中状态由邻接矩阵和独热编码的节点特征定义。
• 动作包括添加一个指定类型的节点，并同时添加一组传入边，动作以二进制向量编码并转换为整数以进行动作空间枚举。
• 图卷积网络（GCN）处理状态以生成Q值估计，使用邻接矩阵的转置来编码边的方向性。
• 采用带经验回放和目标网络的深度Q-learning以稳定训练，使用优先经验回放以提高样本效率。
• 动作空间定义为 $ b \times (2^{n-1} - 1) $，其中 $ b $ 为节点类型数，$ n $ 为节点数，排除空边集以避免孤立节点。
• 探索通过在完整动作空间上采用 $ \epsilon $-greedy选择实现，动作从二进制编码的边集中采样。

实验结果

研究问题

• RQ1 深度Q-learning是否能在无数据的强化学习设置中生成具有特定拓扑结构和节点类型的DAG？
• RQ2 在仅少数终止状态提供非零奖励的稀疏奖励环境中，深度Q-learning的效能如何？
• RQ3 将节点和边的添加视为单一动作，是否相比顺序添加节点/边能提升学习效率？
• RQ4 优先经验回放在DAG生成中在多大程度上提升了学习收敛性？
• RQ5 该方法在DAG规模和节点类型数量增加时的可扩展性如何？

主要发现

• 使用优先经验回放的DQN（DQN+PER）在4个节点、1种节点类型的DAG上平均总奖励达到9,902，显著优于随机动作选择（882）。
• 对于6个节点、3种节点类型的DAG，DQN+PER的平均奖励为5,169，而随机智能体仅为6，表明在高度稀疏环境中仍能有效学习。
• 在使用DQN+PER时，4个节点、1种节点类型的DAG成功率达到95%以上，表明尽管状态和动作空间呈指数级增长，仍能实现有效学习。
• 二进制动作选择（一次性添加多个边）相比顺序边添加收敛更快，因为它消除了边顺序带来的不对称性。
• 贪婪策略的平均成功率在10,000个训练周期内稳步提升，DQN+PER在所有测试配置中均优于标准DQN。
• 对于5个节点、3种节点类型的DAG，仅有25,515个可能的终止状态中有3个与目标同构，但智能体仍能以高频率学习到达这些状态。