[论文解读] Memory-based Deep Reinforcement Learning for POMDP.

Lingheng Meng, Rob Gorbet+1 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics参考文献 36被引用 7

一句话总结

本文提出LSTM-TD3，一种基于记忆增强的深度强化学习算法，通过引入长短期记忆（LSTM）单元，将双延迟深度确定性策略梯度（TD3）算法扩展以处理部分可观测马尔可夫决策过程（POMDP）。通过利用序列记忆建模时间依赖性，该方法在噪声和观测不完整的情况下显著提升了性能，在完全可观测（MDP）和部分可观测（POMDP）设置下均优于标准深度强化学习算法。

ABSTRACT

A promising characteristic of Deep Reinforcement Learning (DRL) is its capability to learn optimal policy in an end-to-end manner without relying on feature engineering. However, most approaches assume a fully observable state space, i.e. fully observable Markov Decision Process (MDP). In real-world robotics, this assumption is unpractical, because of the sensor issues such as sensors' capacity limitation and sensor noise, and the lack of knowledge about if the observation design is complete or not. These scenarios lead to Partially Observable MDP (POMDP) and need special treatment. In this paper, we propose Long-Short-Term-Memory-based Twin Delayed Deep Deterministic Policy Gradient (LSTM-TD3) by introducing a memory component to TD3, and compare its performance with other DRL algorithms in both MDPs and POMDPs. Our results demonstrate the significant advantages of the memory component in addressing POMDPs, including the ability to handle missing and noisy observation data.

研究动机与目标

• 解决标准深度强化学习（DRL）方法假设状态完全可观测的局限性，该假设在现实机器人应用中不切实际，因传感器噪声和容量限制所致。
• 开发一种DRL算法，能够在观测不完整或受损的部分可观测马尔可夫决策过程（POMDP）中有效学习策略。
• 将记忆机制整合至TD3算法中，以建模时间依赖性，提升在部分可观测条件下的决策能力。
• 在完全可观测（MDP）和部分可观测（POMDP）环境中，评估所提方法的鲁棒性与性能，与基线DRL算法进行对比。

提出的方法

• 在双延迟深度确定性策略梯度（TD3）算法中引入长短期记忆（LSTM）单元，以维持隐藏状态，捕捉序列观测中的长期依赖关系。
• 利用LSTM单元处理观测序列，使智能体能够推断隐藏状态信息，并补偿缺失或噪声污染的观测。
• 采用标准DRL损失函数端到端训练LSTM-TD3智能体，结合经验回放和目标网络更新以稳定学习过程。
• 将LSTM的隐藏状态作为策略网络和Q网络输入的一部分，使网络能够基于历史观测序列进行决策。
• 将该方法应用于MDP和POMDP基准测试，以评估其在部分可观测条件下的泛化能力与鲁棒性。
• 在不同环境中采用相同的超参数与训练设置，以确保与基线DRL算法的公平比较。

实验结果

研究问题

• RQ1 与标准DRL算法相比，将LSTM记忆组件集成至TD3是否能提升在部分可观测环境中的性能？
• RQ2 LSTM-TD3在POMDP中如何处理噪声或不完整的观测？其在该类条件下是否能保持稳定的学习过程？
• RQ3 该记忆增强方法在MDP与POMDP环境之间是否具有良好的泛化能力？
• RQ4 与基线DRL方法相比，LSTM-TD3在样本效率和最终性能方面有何相对提升？

主要发现

• LSTM-TD3在POMDP环境中表现出显著的性能提升，通过时间记忆建模有效处理缺失和噪声观测。
• 记忆组件使智能体在观测不完整或受损时仍能维持一致的策略性能。
• LSTM-TD3在MDP与POMDP基准测试中均优于标准TD3及其他基线DRL算法，展现出更高的样本效率与最终回报。
• 结果证实，在深度确定性策略梯度方法中引入记忆机制，可显著提升在传感器受限的真实机器人场景中的鲁棒性。
• 该方法在部分可观测条件下保持了稳定的训练动态，避免了性能退化，而标准DRL方法则存在此类问题。