[论文解读] $\gamma$-Models: Generative Temporal Difference Learning for Infinite-Horizon Prediction

Michael Jänner, Igor Mordatch+1 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 43被引用 5

一句话总结

该论文提出γ-models，一种生成式时序差分学习框架，将无限时域环境动态建模为连续的、概率性的后继表示。通过采用生成式重解释的时序差分学习进行训练，γ-models统一了无模型与有模型控制，无需依赖任务特定奖励即可实现精确的长期预测与价值估计，并通过生成对抗网络（GAN）和归一化流实现的实证验证。

ABSTRACT

We introduce the $\gamma$-model, a predictive model of environment dynamics with an infinite probabilistic horizon. Replacing standard single-step models with $\gamma$-models leads to generalizations of the procedures central to model-based control, including the model rollout and model-based value estimation. The $\gamma$-model, trained with a generative reinterpretation of temporal difference learning, is a natural continuous analogue of the successor representation and a hybrid between model-free and model-based mechanisms. Like a value function, it contains information about the long-term future; like a standard predictive model, it is independent of task reward. We instantiate the $\gamma$-model as both a generative adversarial network and normalizing flow, discuss how its training reflects an inescapable tradeoff between training-time and testing-time compounding errors, and empirically investigate its utility for prediction and control.

研究动机与目标

• 开发一种环境动态的预测模型，具备无限概率时域，实现无需依赖有限时域近似的长期规划。
• 通过用γ-models替代单步模型，推广有模型控制方法（如模型滚动和价值估计）。
• 构建一种混合机制，在保留价值函数长期预见能力的同时，保持标准模型的无任务依赖、预测性特征。
• 形式化一种训练过程，反映分层预测中训练时与推理时误差累积之间的权衡。
• 通过生成对抗网络（GAN）和归一化流等深度生成架构，在预测与控制任务中实证验证γ-models。

提出的方法

• γ-model通过时序差分学习的生成式重解释进行训练，模型学习预测无限时域内未来状态的期望折扣和。
• 其作为后继表示的连续类比，编码与即时奖励无关的长期状态访问模式。
• 模型以生成对抗网络（GAN）和归一化流的形式实现，支持对未来状态分布的灵活且可微分的概率密度估计。
• 训练目标在学习过程中的分布准确性与推理过程中的误差累积鲁棒性之间取得平衡，反映了训练与推理时误差累积之间的根本权衡。
• 通过将状态分布向前传播至γ-model，模型支持模型滚动与基于模型的价值估计，实现长时域规划。
• 该框架设计为无奖励依赖，使同一模型可在无需微调的情况下支持多种下游任务。

实验结果

研究问题

• RQ1 如何设计一种预测模型，以捕捉无限时域动态，同时保持可处理性与泛化能力？
• RQ2 与标准单步模型相比，γ-model的生成式训练过程在多大程度上提升了长期预测的准确性？
• RQ3 γ-model中训练时与推理时误差累积之间的权衡是什么？其对下游控制性能有何影响？
• RQ4 γ-model能否有效支持基于模型强化学习中的模型滚动与价值估计？
• RQ5 不同深度生成架构（如GANs、归一化流）对γ-model的性能与稳定性有何影响？

主要发现

• γ-model成功捕捉了无限时域内的长期状态动态，在长时域预测任务中优于标准单步模型。
• 通过时序差分学习的生成式重解释进行训练，使模型能够学习到连续的后继表示，实现跨任务的泛化。
• 框架揭示了一个根本性权衡：训练时精度更高的模型在推理过程中表现出更大的误差累积，反之亦然。
• 实证结果表明，γ-model支持精确的基于模型价值估计与有效的模型滚动，从而提升下游控制性能。
• 使用归一化流与GAN作为γ-model的实现形式，证明了该框架在多种深度生成架构中的灵活性与兼容性。
• γ-model保持了无任务依赖的预测能力，使同一模型可在无需重新训练的情况下复用于多种奖励函数。