[论文解读] Generalized Value Iteration Networks: Life Beyond Lattices

Sufeng Niu, Siheng Chen+4 more|arXiv (Cornell University)|Jun 8, 2017

Domain Adaptation and Few-Shot Learning被引用 22

一句话总结

该论文提出广义值迭代网络（GVIN），一种端到端可微的规划模块，通过新颖的图卷积算子和情景Q-learning，将值迭代网络（VIN）扩展至不规则空间图。GVIN在未见过的图上实现泛化，相较于在不规则结构上进行图像离散化的VIN表现更优，并在大型真实道路网络（如明尼苏达州和纽约市）上实现100%成功率。

ABSTRACT

In this paper, we introduce a generalized value iteration network (GVIN), which is an end-to-end neural network planning module. GVIN emulates the value iteration algorithm by using a novel graph convolution operator, which enables GVIN to learn and plan on irregular spatial graphs. We propose three novel differentiable kernels as graph convolution operators and show that the embedding based kernel achieves the best performance. We further propose episodic Q-learning, an improvement upon traditional n-step Q-learning that stabilizes training for networks that contain a planning module. Lastly, we evaluate GVIN on planning problems in 2D mazes, irregular graphs, and real-world street networks, showing that GVIN generalizes well for both arbitrary graphs and unseen graphs of larger scale and outperforms a naive generalization of VIN (discretizing a spatial graph into a 2D image).

研究动机与目标

• 使深度强化学习智能体能够在任意、未见过的不规则空间图上规划最优路径。
• 克服现有值迭代网络（VIN）仅限于二维格网且无法泛化至不规则拓扑结构的局限性。
• 开发一种可微的图卷积算子，以捕捉空间图中的方向性、距离和边加权关系。
• 通过引入情景Q-learning，稳定在不规则图上的训练过程，从而提升性能，优于标准深度Q-learning。

提出的方法

• 提出一种广义图卷积算子，将二维卷积推广至不规则图，建模方向性、距离和边权重。
• 引入三种可微核——空间核、方向核和基于嵌入的核，其中基于嵌入的核表现最佳。
• 设计情景Q-learning，一种n步Q-learning的变体，通过在整个轨迹上使用蒙特卡洛控制来稳定训练。
• 通过强化学习端到端训练GVIN，无需真实标签，实现自监督策略学习。
• 采用K=200步的循环机制，模拟图节点间的价值迭代，通过消息传递学习价值函数。
• 使用节点嵌入和分桶采样，提升泛化能力，捕捉不规则图中的空间关系。

实验结果

研究问题

• RQ1 深度学习规划器能否在未见过的不规则图（如道路网络或合成不规则迷宫）上实现泛化？
• RQ2 GVIN在性能上相较于将不规则图离散化为二维图像的朴素VIN方法有何差异？
• RQ3 情景Q-learning是否能通过稳定训练提升不规则图规划任务的性能，相比标准深度Q-learning？
• RQ4 当在10个节点图上训练时，GVIN在更大规模图（如100个节点图）上的泛化能力如何？
• RQ5 边权重和图结构如何影响GVIN的泛化能力和规划准确性？

主要发现

• GVIN在明尼苏达州高速公路图（2,642个节点）和纽约市街道路图（5,069个节点）上均实现100%的成功率，证明其具备强大的规模泛化能力。
• 在10个节点图上使用情景Q-learning训练后，GVIN在100个节点图上实现98.5%的成功率和0.92的期望回报，优于所有模仿学习基线方法。
• 基于嵌入的图卷积核优于空间核和方向核，在不规则图规划中实现最高准确率和成功率。
• 情景Q-learning显著提升训练稳定性和性能，实现高期望回报和成功率，而标准深度Q-learning则无法收敛。
• 引入边权重的GVIN在强化学习中略有性能提升，但边权重会严重损害模仿学习性能，表明存在分布偏移问题。
• GVIN在泛化能力上优于采用图像离散化的VIN，尤其在不规则图上，后者在成功率和期望回报上均显著失败。