[论文解读] Gated Path Planning Networks

Lisa Lee, Emilio Parisotto+3 more|arXiv (Cornell University)|Jun 17, 2018

Robotic Path Planning Algorithms参考文献 14被引用 6

一句话总结

本文提出门控路径规划网络（Gated Path Planning Networks, GPPNs），一种可微路径规划模块，用标准的LSTM门控循环单元替代了价值迭代网络（VINs）中非传统的循环更新机制。通过将VIN重构为卷积-循环网络，GPPNs实现了更快的学习速度、更优的训练稳定性、更低的超参数与随机种子敏感性，以及更好的泛化能力——在仅使用RGB观测的情况下，在2D迷宫和3D ViZDoom环境中均优于VIN。

ABSTRACT

Value Iteration Networks (VINs) are effective differentiable path planning modules that can be used by agents to perform navigation while still maintaining end-to-end differentiability of the entire architecture. Despite their effectiveness, they suffer from several disadvantages including training instability, random seed sensitivity, and other optimization problems. In this work, we reframe VINs as recurrent-convolutional networks which demonstrates that VINs couple recurrent convolutions with an unconventional max-pooling activation. From this perspective, we argue that standard gated recurrent update equations could potentially alleviate the optimization issues plaguing VIN. The resulting architecture, which we call the Gated Path Planning Network, is shown to empirically outperform VIN on a variety of metrics such as learning speed, hyperparameter sensitivity, iteration count, and even generalization. Furthermore, we show that this performance gap is consistent across different maze transition types, maze sizes and even show success on a challenging 3D environment, where the planner is only provided with first-person RGB images.

研究动机与目标

• 解决价值迭代网络（VINs）中的训练不稳定性、随机种子敏感性与超参数敏感性问题。
• 探究VIN的归纳偏置是否对有效的可微路径规划至关重要。
• 提升端到端可微导航架构中的优化与泛化性能。
• 在多样化环境中评估性能，包括2D迷宫与仅使用RGB观测的3D视频游戏环境。

提出的方法

• 将VIN重构为卷积-循环网络，以支持使用标准门控循环单元（如LSTM）的机制。
• 用门控循环更新机制替代VIN中非传统的更新方式（卷积 + 最大池化）。
• 采用基于LSTM的更新机制，在迭代过程中保持并更新状态表示，从而改善梯度流动。
• 通过监督模仿最优路径，端到端训练GPPN，且空间位置间共享权重。
• 将GPPN应用于2D网格世界迷宫与3D ViZDoom环境，输入为第一人称RGB图像。
• 将卷积核大小与迭代次数作为可控超参数，以评估模型的可扩展性与效率。

实验结果

研究问题

• RQ1 用标准门控循环单元替代VIN中非传统的循环更新机制，是否能提升训练稳定性与收敛性？
• RQ2 与VIN相比，GPPN是否降低了对随机种子与超参数选择的敏感性？
• RQ3 在较少训练数据下，GPPN是否比VIN具有更好的泛化能力？
• RQ4 与VIN相比，GPPN在更大卷积核尺寸与更少迭代次数下是否仍能保持或提升性能？
• RQ5 在仅使用RGB观测的情况下，GPPN是否能在复杂3D环境中成功进行路径规划？

主要发现

• GPPNs实现显著更快的学习速度，仅需数个训练周期即可达到高性能，而VIN则需要更长的训练时间。
• GPPNs表现出更低的训练不稳定性，各周期间性能在高低水平间振荡更少。
• GPPNs对随机种子与超参数的敏感性更低，各次运行间性能更一致。
• 在较少训练数据下，GPPNs泛化能力更优，且随着数据量减少，与VIN的性能差距进一步扩大。
• 在2D迷宫中，GPPNs在多种迷宫尺寸、转换类型与卷积核尺寸下均优于VIN，包括使VIN不稳定的更大卷积核。
• 在3D ViZDoom环境中，GPPNs仅使用第一人称RGB图像即成功完成路径规划，展现出对部分可观测性与复杂视觉输入的鲁棒性。