[论文解读] Memory Augmented Control Networks

Arbaaz Khan, Clark Zhang+4 more|arXiv (Cornell University)|Sep 17, 2017

Reinforcement Learning in Robotics参考文献 20被引用 38

一句话总结

本文提出记忆增强控制网络（MACN），一种分层深度强化学习架构，将规划分解为局部和全局两个层次，以解决稀疏奖励下部分可观测路径规划的问题。通过将可微分记忆网络与局部优化策略相结合，MACN 在未见过的环境中实现了鲁棒的泛化能力，并在高维状态与动作空间的复杂网格世界任务中，优于标准的记忆增强模型和基于LSTM的模型。

ABSTRACT

Planning problems in partially observable environments cannot be solved directly with convolutional networks and require some form of memory. But, even memory networks with sophisticated addressing schemes are unable to learn intelligent reasoning satisfactorily due to the complexity of simultaneously learning to access memory and plan. To mitigate these challenges we introduce the Memory Augmented Control Network (MACN). The proposed network architecture consists of three main parts. The first part uses convolutions to extract features and the second part uses a neural network-based planning module to pre-plan in the environment. The third part uses a network controller that learns to store those specific instances of past information that are necessary for planning. The performance of the network is evaluated in discrete grid world environments for path planning in the presence of simple and complex obstacles. We show that our network learns to plan and can generalize to new environments.

研究动机与目标

• 解决在稀疏奖励下部分可观测环境中学习最优策略的挑战，其中标准深度网络因缺乏记忆和规划能力而失效。
• 克服端到端卷积网络和循环网络在维持长期状态估计以及推理未见环境方面的局限性。
• 设计一种可扩展的、通用的架构，通过可微分记忆机制将局部规划与全局策略学习分离。
• 评估模型在未训练过的新型环境和复杂障碍物配置下的泛化能力。
• 通过模块化、分层的控制结构，在高维状态与动作空间中实现有效规划。

提出的方法

• MACN采用分层架构：局部规划模块基于局部观测的环境特征计算策略，而全局控制器使用可微分记忆网络来维护对整个环境的信念。
• 记忆网络采用可微分神经计算机（DNC）实现，具备可学习的读写操作，使网络能够存储和检索关于已访问状态和障碍物的信息。
• 局部策略通过在局部观测上应用价值迭代网络（VIN）计算，生成附近状态的紧凑且特征丰富的表示。
• 全局控制器将局部策略与记忆估计的环境状态相结合以生成动作，使用软注意力机制聚焦于相关记忆位置。
• 整个网络通过强化学习进行端到端训练，采用稀疏奖励和策略梯度方法优化全局策略。
• 该架构避免显式构建二维地图，支持非网格或不可投影环境的应用，并兼容离散与连续控制。

实验结果

研究问题

• RQ1 记忆增强的深度强化学习模型是否能在稀疏奖励的部分可观测环境中学习到有效的规划策略？
• RQ2 与端到端模型相比，局部与全局规划的分层分解在样本效率和泛化能力方面有何提升？
• RQ3 该模型在未见过的复杂障碍物或隧道结构环境中，泛化能力能达到何种程度，尤其是训练中未出现的环境？
• RQ4 可微分记忆机制是否增强了规划任务中的长期记忆保持与推理能力？
• RQ5 该模型是否能在不降低性能的前提下扩展到高维状态与动作空间？

主要发现

• 在具有简单障碍物的网格世界（G）中，MACN测试成功率达到100%；在20单位长隧道环境（L）中，成功率同样达到100%，优于仅使用LSTM的MACN和标准LSTM模型。
• 在复杂障碍物环境中，MACN将平均路径长度比值降低至1.07，接近A*算法的最优比值（1.0），表明性能接近最优。
• 该模型在新环境中表现出有效泛化能力，包括更长的隧道（如40单位）和新型障碍物配置，证明其泛化能力超越了训练分布。
• MACN在连续控制任务中表现更优，表明其不仅适用于离散网格世界，也具备广泛适用性。
• 消融实验证实，结合局部策略计算与基于记忆的全局规划的分层设计，显著提升了学习稳定性和最终性能。
• 该模型在多个随机种子和环境设置下均保持一致的性能表现，表明训练具有强可靠性与鲁棒性。