[论文解读] Continuous Neural Algorithmic Planners

Yu He, Petar Veličković+2 more|arXiv (Cornell University)|Nov 29, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了连续神经算法规划器（CNAP），一种通过分箱离散化动作空间并采用选择性采样策略来管理大规模规划图的连续控制方法，将神经算法推理扩展至连续控制领域。CNAP在低数据、高维的MuJoCo环境中，相较于PPO等模型无关基线方法，展现出更优的样本效率和性能，证明了在复杂连续控制任务中整合算法推理的可行性。

ABSTRACT

Neural algorithmic reasoning studies the problem of learning algorithms with neural networks, especially with graph architectures. A recent proposal, XLVIN, reaps the benefits of using a graph neural network that simulates the value iteration algorithm in deep reinforcement learning agents. It allows model-free planning without access to privileged information about the environment, which is usually unavailable. However, XLVIN only supports discrete action spaces, and is hence nontrivially applicable to most tasks of real-world interest. We expand XLVIN to continuous action spaces by discretization, and evaluate several selective expansion policies to deal with the large planning graphs. Our proposal, CNAP, demonstrates how neural algorithmic reasoning can make a measurable impact in higher-dimensional continuous control settings, such as MuJoCo, bringing gains in low-data settings and outperforming model-free baselines.

研究动机与目标

• 将基于神经算法推理的隐式规划扩展至连续动作空间，而该领域在先前工作中尚未被探索。
• 通过引入选择性邻近采样策略，解决高维连续控制中规划图的可扩展性挑战。
• 评估神经算法推理是否能在具有连续动力学的复杂、真实世界控制任务中保持样本效率和泛化能力。
• 研究不同采样策略对大规模规划图中学习稳定性和性能的影响。
• 证明将算法推理应用于高维连续控制任务（超越离散动作空间）的可行性。

提出的方法

• 通过均匀分箱离散化连续动作空间，以支持基于图神经网络的值迭代方法的应用。
• 通过在规划时域内从当前状态展开构建规划图，动作从分箱的动作空间中采样。
• 采用四种邻近采样策略：人工-高斯、学习-高斯、重用策略和学习采样，以减小图的规模。
• 使用消息传递图神经网络在规划图上模拟值迭代，通过贝尔曼最优方程更新状态值。
• 使用策略梯度目标训练智能体，图神经网络提供规划用的价值估计。
• 将图神经网络作为归纳偏置，实现在无特权环境信息访问情况下的隐式规划。

实验结果

研究问题

• RQ1 神经算法推理能否有效扩展至具有高维动作空间的连续控制任务？
• RQ2 不同邻近采样策略如何影响连续控制中规划图的可扩展性和性能？
• RQ3 通过图神经网络集成算法推理是否能提升低数据场景下的样本效率和泛化能力？
• RQ4 CNAP在复杂MuJoCo环境中与PPO等模型无关基线方法相比表现如何？
• RQ5 参数化与非参数化采样策略对学习稳定性和收敛性有何影响？

主要发现

• 在Swimmer和HalfCheetah的低数据设置中，CNAP优于PPO，实现了更高的平均回合奖励和更快的学习速度。
• 在Humanoid（动作维度=17）中，所有CNAP变体均优于PPO，其中非参数化采样策略（如人工-高斯）表现出最快的知识获取速度。
• 在HumanoidStandup任务中，CNAP能保持稳定的坐姿，而PPO智能体迅速跌倒，表明其在相似平均回报下具备更高的鲁棒性。
• 定性分析显示，CNAP智能体能保持平衡并实现稳定的运动（如Humanoid中的行走），而PPO智能体频繁跌倒。
• 使用非参数化采样策略（如人工-高斯）相比参数化方法带来更稳定的学习，可能归因于参数量更少。
• CNAP证明了神经算法推理可成功应用于复杂、高维的连续控制任务，突破了离散动作空间的限制。