[论文解读] Learning One Representation to Optimize All Rewards

Abdelaziz Touati, Yann Ollivier|arXiv (Cornell University)|Mar 14, 2021

Reinforcement Learning in Robotics参考文献 18被引用 5

一句话总结

本文提出前向-后向（FB）表示法，这是一种可学习的、紧凑的无奖励MDP摘要，可在无需规划的情况下直接推导出针对任何指定奖励的近似最优策略。通过在无监督经验上使用离策略时序差分学习训练两个深度表示——F（前向）和B（后向）——该方法在训练完美时可实现可证明的最优策略，次优性与近似误差成正比。

ABSTRACT

We introduce the forward-backward (FB) representation of the dynamics of a reward-free Markov decision process. It provides explicit near-optimal policies for any reward specified a posteriori. During an unsupervised phase, we use reward-free interactions with the environment to learn two representations via off-the-shelf deep learning methods and temporal difference (TD) learning. In the test phase, a reward representation is estimated either from observations or an explicit reward description (e.g., a target state). The optimal policy for that reward is directly obtained from these representations, with no planning. We assume access to an exploration scheme or replay buffer for the first phase. The corresponding unsupervised loss is well-principled: if training is perfect, the policies obtained are provably optimal for any reward function. With imperfect training, the sub-optimality is proportional to the unsupervised approximation error. The FB representation learns long-range relationships between states and actions, via a predictive occupancy map, without having to synthesize states as in model-based approaches. This is a step towards learning controllable agents in arbitrary black-box stochastic environments. This approach compares well to goal-oriented RL algorithms on discrete and continuous mazes, pixel-based MsPacman, and the FetchReach virtual robot arm. We also illustrate how the agent can immediately adapt to new tasks beyond goal-oriented RL.

研究动机与目标

• 使单一智能体能够学习环境的通用表示，以支持对任何未来奖励函数的最优策略推导。
• 通过在无监督阶段学习紧凑且通用的表示，克服目标导向强化学习和基于模型规划的局限性。
• 为表示提供有充分依据的无监督训练目标，确保在训练完美的前提下实现最优性。
• 展示方法在密集奖励和复杂奖励函数中的泛化能力，超越仅目标达成的任务。
• 实现在高维、随机环境中无需微调或规划即可立即适应新任务的能力。

提出的方法

• 采用前向-后向（FB）表示框架，其中F(s,a,z)和B(s',a')将状态-动作对映射到潜在空间Z ≈ R^d。
• 使用时序差分（TD）损失训练F和B，以近似在策略π_z下从s到达s'的长期占据概率。
• 策略定义为π_z(s) = argmax_a F(s,a,z)^T z，从而可直接从z和表示中推断策略。
• 奖励表示z通过线性投影从奖励观测或显式描述（如目标状态）中计算得出。
• 使用现成的深度学习方法和带有回放缓冲区的离策略TD学习，避免轨迹合成与稀疏奖励问题。
• 采用Polyak平均方法以稳定训练，并使用具有理论最优性保证的合理无监督损失。

实验结果

研究问题

• RQ1 能否从无奖励经验中学习到单一紧凑表示，以实现对任意奖励函数的最优策略推导？
• RQ2 如何将F和B的无监督训练形式化为具有理论最优性保证的合理损失？
• RQ3 该方法在多目标、密集奖励或复杂奖励任务上的泛化能力如何？
• RQ4 在样本效率和策略质量方面，该方法与目标导向强化学习和基于模型的基线方法相比表现如何？
• RQ5 FB表示学习了何种长程状态-动作依赖关系，这些关系如何支持泛化？

主要发现

• 当训练完美时，FB表示可实现可证明的最优策略，次优性受无监督近似误差的有界约束。
• 在离散和连续迷宫环境中，FB在成功率和样本效率方面优于基于DQN的目标导向方法，尤其在高维表示下表现更优（FB-100在800个训练周期内优于DQN）。
• 在基于像素的Ms. Pacman环境中，FB成功学习了复杂任务的策略，如避开禁区和平衡奖励距离，且轨迹具有定性合理性。
• 在FetchReach任务中，FB在1000个采样的目标上平均成功率达到90%以上，展示了在连续控制任务中的鲁棒性。
• t-SNE可视化结果表明，FB表示能够恢复环境的结构特征（如房间、环路、门），表明其具备有效的长程状态表征能力。
• 该方法可立即适应新任务，例如在附近小奖励与远处大奖励之间进行选择，而标准目标导向方法在不重新训练的情况下无法处理此类任务。