[论文解读] M-Walk: Learning to Walk in Graph with Monte Carlo Tree Search

Yelong Shen, Jianshu Chen+3 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Graph Neural Networks被引用 2

一句话总结

M-Walk 提出了一种强化学习智能体，该智能体将深度循环神经网络（RNN）与蒙特卡洛树搜索（MCTS）相结合，以学习知识库补全（KBC）任务中的有效图遍历策略。通过利用 MCTS 生成高奖励轨迹，并借助离策略 Q-learning 改进 RNN 策略，M-Walk 在图遍历基准测试中表现优于策略梯度方法和传统 KBC 基线模型。

ABSTRACT

Learning to walk over a graph towards a target node for a given input query and a source node is an important problem in applications such as knowledge base completion (KBC). It can be formulated as a reinforcement learning (RL) problem with a known state transition model. To overcome the challenge of sparse reward, we develop a graph-walking agent called M-Walk, which consists of a deep recurrent neural network (RNN) and Monte Carlo Tree Search (MCTS). The RNN encodes the state (i.e., history of the walked path) and maps it separately to a policy, a state value and state-action Q-values. In order to effectively train the agent from sparse reward, we combine MCTS with the neural policy to generate trajectories yielding more positive rewards. From these trajectories, the network is improved in an off-policy manner using Q-learning, which modifies the RNN policy via parameter sharing. Our proposed RL algorithm repeatedly applies this policy-improvement step to learn the entire model. At test time, MCTS is again combined with the neural policy to predict the target node. Experimental results on several graph-walking benchmarks show that M-Walk is able to learn better policies than other RL-based methods, which are mainly based on policy gradients. M-Walk also outperforms traditional KBC baselines.

研究动机与目标

• 解决知识库补全（KBC）任务中图遍历的稀疏奖励问题。
• 开发一种强化学习智能体，以有效探索并从图结构环境中稀疏的奖励信号中学习。
• 将蒙特卡洛树搜索（MCTS）与深度 RNN 策略结合，生成高质量的轨迹用于训练。
• 通过参数共享的离策略 Q-learning 改进策略网络，实现稳定且高效的训练。
• 在图遍历基准测试中，性能优于现有的基于强化学习和传统 KBC 方法。

提出的方法

• 智能体使用深度循环神经网络（RNN）编码已遍历路径的历史记录，并生成策略、状态值和状态-动作 Q 值。
• 在训练过程中使用蒙特卡洛树搜索（MCTS）展开轨迹，以获得更高奖励的路径，从而提升样本效率。
• 利用 MCTS 生成的轨迹，通过离策略 Q-learning 更新 RNN 策略，实现从稀疏奖励中高效学习。
• 在 RNN 的策略头、价值头和 Q 值头之间共享参数，以稳定训练并提升泛化能力。
• 训练过程通过交替执行 MCTS 展开和 Q-learning 更新，迭代优化策略。
• 推理阶段，再次将 MCTS 与训练好的 RNN 策略结合，通过选择最具前景的路径来预测目标节点。

实验结果

研究问题

• RQ1 将 MCTS 与深度 RNN 结合，是否能提升稀疏奖励图遍历任务中的样本效率与性能？
• RQ2 与在线策略策略梯度方法相比，将离策略 Q-learning 与 MCTS 生成的轨迹结合，如何增强策略学习？
• RQ3 所提出的 M-Walk 智能体在知识库补全任务中，相较于现有强化学习基线模型，性能提升程度如何？
• RQ4 在图遍历基准测试中，使用 MCTS 与神经策略是否能带来更好的泛化能力与目标节点预测准确率？
• RQ5 所提出的方法在图遍历任务中，是否能在准确率与鲁棒性方面超越传统 KBC 基线模型？

主要发现

• 与依赖策略梯度的其他基于强化学习的方法相比，M-Walk 在图遍历基准测试中表现更优。
• 将 MCTS 与 RNN 策略结合，显著提升了样本效率，并实现了从稀疏奖励中学习的能力。
• 在测试的图遍历任务中，M-Walk 超过了传统知识库补全基线模型。
• 采用参数共享的离策略 Q-learning 更新，使训练过程中策略优化更加稳定且高效。
• 推理阶段结合 MCTS 与神经策略，通过探索高奖励路径，实现了对目标节点的高精度预测。