[论文解读] Predictive-State Decoders: Encoding the Future into Recurrent Networks

Arun Venkatraman, Nicholas Rhinehart+6 more|arXiv (Cornell University)|Sep 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用 12

一句话总结

本文提出预测状态解码器（Psd），通过直接监督内部状态以预测未来观测，来增强循环神经网络（RNNs）。通过引入基于未来预测的简单正则化损失，Psd在较少迭代次数和更少数据的情况下，提升了概率滤波、模仿学习和强化学习中的训练收敛速度与性能，在TRPO-based强化学习环境等基准任务中实现了最先进结果。

ABSTRACT

Recurrent neural networks (RNNs) are a vital modeling technique that rely on internal states learned indirectly by optimization of a supervised, unsupervised, or reinforcement training loss. RNNs are used to model dynamic processes that are characterized by underlying latent states whose form is often unknown, precluding its analytic representation inside an RNN. In the Predictive-State Representation (PSR) literature, latent state processes are modeled by an internal state representation that directly models the distribution of future observations, and most recent work in this area has relied on explicitly representing and targeting sufficient statistics of this probability distribution. We seek to combine the advantages of RNNs and PSRs by augmenting existing state-of-the-art recurrent neural networks with Predictive-State Decoders (PSDs), which add supervision to the network's internal state representation to target predicting future observations. Predictive-State Decoders are simple to implement and easily incorporated into existing training pipelines via additional loss regularization. We demonstrate the effectiveness of PSDs with experimental results in three different domains: probabilistic filtering, Imitation Learning, and Reinforcement Learning. In each, our method improves statistical performance of state-of-the-art recurrent baselines and does so with fewer iterations and less data.

研究动机与目标

• 解决在缺乏真实潜在状态监督时，RNN中学习有意义内部状态表征的挑战。
• 通过使用未来观测预测直接监督内部状态，提升RNN训练的稳定性和性能。
• 通过将未来预测嵌入训练目标，结合RNN与预测状态表征（PSR）的优势。
• 在不改变网络架构的前提下，实现序列建模任务的更快收敛和更优最终性能。
• 提供一种即插即用的正则化器，以极低计算成本增强现有RNN流水线。

提出的方法

• 在现有RNN上增加一个预测状态解码器头，将内部隐藏状态映射为未来观测的概率分布。
• 使用与主RNN相同的输入序列，通过监督损失对解码器进行训练，以预测未来观测序列。
• 将解码器损失作为正则项整合到主训练目标中，通过超参数λ控制其权重。
• 使用特征化函数φ(x)将观测映射为适合预测的表征，实验中采用恒等映射和二阶特征。
• 在不修改核心网络的前提下，将该方法应用于多种RNN架构（LSTM、GRU、Basic RNN）和任务（滤波、模仿学习、强化学习）。
• 使用反向传播联合优化主任务损失和预测状态解码器损失，实现端到端训练。

实验结果

研究问题

• RQ1 对未来的观测预测进行直接监督，能否提升RNN中内部状态表征的质量？
• RQ2 引入预测状态监督是否能带来序列建模任务中更快的收敛速度和更优的最终性能？
• RQ3 Psd能否在概率滤波、模仿学习和强化学习等多样化领域中有效应用？
• RQ4 与标准RNN训练相比，Psd在样本效率和方差减少方面表现如何？
• RQ5 该方法是否在不同RNN架构（包括LSTM、GRU和基础RNN单元）上具有泛化能力？

主要发现

• 在强化学习中，Psd在Walker2d上将平均回报提升15.4%（p < 0.005），在Hopper上提升9.06%，其中40%的模型优于最佳基线。
• 在HalfCheetah任务中，Psd实现了13.0%的相对回报提升（p < 0.05），且各次运行间方差减小。
• 在InvertedPendulum任务中，Psd使GRU和LSTM的性能分别提升20.4%和22.6%，且方差显著降低。
• 采用二阶特征化（φ(x) = [x, vec(xxᵀ)]）使InvertedPendulum的平均回报提升4.9%，且方差减小。
• 该方法在所有测试的RNN单元（Basic、GRU、LSTM）上均一致提升性能，展现出广泛的适用性。
• 在模仿学习中，Psd减少了达到高性能所需的训练迭代次数，表明收敛速度更快。