[论文解读] Data-Efficient Reinforcement Learning in Continuous-State POMDPs

Rowan McAllister, Carl Edward Rasmussen|arXiv (Cornell University)|Feb 8, 2016

Energy Efficient Wireless Sensor Networks参考文献 7被引用 4

一句话总结

该论文通过将信念状态滤波集成到轨迹预测中，将数据高效的PILCO算法扩展至部分可观察的马尔可夫决策过程（POMDPs），从而在观测噪声下实现鲁棒控制。通过将模型不确定性同时传播至动力学和滤波过程，该方法在非线性、噪声环境（如倒立摆摆动任务）中显著优于未滤波的策略优化。

ABSTRACT

We present a data-efficient reinforcement learning algorithm resistant to observation noise. Our method extends the highly data-efficient PILCO algorithm (Deisenroth & Rasmussen, 2011) into partially observed Markov decision processes (POMDPs) by considering the filtering process during policy evaluation. PILCO conducts policy search, evaluating each policy by first predicting an analytic distribution of possible system trajectories. We additionally predict trajectories w.r.t. a filtering process, achieving significantly higher performance than combining a filter with a policy optimised by the original (unfiltered) framework. Our test setup is the cartpole swing-up task with sensor noise, which involves nonlinear dynamics and requires nonlinear control.

研究动机与目标

• 解决在部分可观察性和传感器噪声下强化学习中的数据效率低下和模型偏差问题。
• 通过在策略评估中引入滤波机制，将高度数据高效的基于模型的强化学习算法PILCO扩展至POMDP设置。
• 通过在轨迹预测中预测滤波过程而非假设完全可观测，减轻传感器噪声导致的性能下降。
• 通过不仅在动力学上，而且在信念状态上传播模型不确定性，保持数据效率，避免单一模型偏差。

提出的方法

• 提出一种信念状态动力学模型，结合概率动力学与贝叶斯滤波，以在不确定性下预测系统轨迹。
• 使用矩匹配技术与高斯近似，分析计算信念均值和协方差，相比EKF降低近似误差。
• 引入信念状态与动力学模型的联合分布，实现对滤波和策略评估中不确定性的传播。
• 通过动力学模型后验分布的期望，推导出信念均值、输入-输出协方差和信念方差的解析表达式。
• 通过反向传播信念状态动力学实现策略梯度优化，支持鲁棒策略的端到端学习。
• 采用基于概率核的动力学模型（高斯过程GP）表示系统，实现对所有可能的动力学函数的边缘化。

实验结果

研究问题

• RQ1 能否在保持对观测噪声鲁棒性的前提下，将数据高效的基于模型的强化学习算法扩展至POMDPs？
• RQ2 在轨迹预测中集成滤波是否相比仅在执行期间滤波能提升策略性能？
• RQ3 在低数据场景下，通过在动力学和信念状态上同时传播模型不确定性，如何减少模型偏差？
• RQ4 在非线性、部分可观察的系统中，对动力学模型使用完整后验推断对性能有何影响？
• RQ5 能否为具有噪声观测的非线性系统高效推导出解析的信念状态预测？

主要发现

• 在中等传感器噪声下，该方法在倒立摆摆动任务中显著优于标准PILCO，表现出更强的鲁棒性。
• 在预测阶段即考虑滤波的策略优化优于仅在执行期间滤波的方法，消除了未滤波与预测不匹配的问题。
• 使用矩匹配的解析信念状态预测相比扩展卡尔曼滤波（EKF）降低近似误差，尤其在高非线性情况下表现更优。
• 通过边缘化所有可能的动力学模型，该方法在低数据场景下仍保持数据效率，显著减少模型偏差。
• 实验结果表明，预测阶段的滤波使倒立摆系统在原本可能因观测噪声而失稳的条件下仍能实现稳定控制。