[论文解读] Which Mutual-Information Representation Learning Objectives are Sufficient for Control?

Kate Rakelly, Abhishek Gupta+2 more|arXiv (Cornell University)|Jun 14, 2021

Reinforcement Learning in Robotics参考文献 67被引用 8

一句话总结

本文分析了在强化学习（RL）中哪些互信息（MI）表征学习目标在理论上是充分的，表明两种广泛使用的目标——$ω_{state}$ 和 $ω_{inv}$——即使在温和的马尔可夫决策过程（MDP）假设下，也可能产生不足的表征，而 $ω_{fwd}$ 则被证明是充分的。在视觉RL环境中的实证结果证实，表征不足会显著降低RL性能，尤其是在存在干扰物的观测条件下。

ABSTRACT

Mutual information maximization provides an appealing formalism for learning representations of data. In the context of reinforcement learning (RL), such representations can accelerate learning by discarding irrelevant and redundant information, while retaining the information necessary for control. Much of the prior work on these methods has addressed the practical difficulties of estimating mutual information from samples of high-dimensional observations, while comparatively less is understood about which mutual information objectives yield representations that are sufficient for RL from a theoretical perspective. In this paper, we formalize the sufficiency of a state representation for learning and representing the optimal policy, and study several popular mutual-information based objectives through this lens. Surprisingly, we find that two of these objectives can yield insufficient representations given mild and common assumptions on the structure of the MDP. We corroborate our theoretical results with empirical experiments on a simulated game environment with visual observations.

研究动机与目标

• 为强化学习中最优策略学习的表征充分性概念提供形式化定义。
• 评估在马尔可夫决策过程（MDP）中常见基于互信息的表征学习目标的理论充分性。
• 识别在标准MDP假设下仍无法捕捉必要状态信息的目标。
• 通过在含干扰物的视觉观测上训练深度RL智能体，实证验证理论发现。
• 提供一个评估新基于互信息的目标在支持有效RL策略学习方面潜力的框架。

提出的方法

• 提出表征充分性的正式定义：表征必须允许对任意奖励函数学习最优Q函数。
• 分析三种互信息目标：$ω_{fwd}$（未来状态预测）、$ω_{inv}$（逆向预测）和 $ω_{state}$（状态预测）。
• 使用具有精确互信息计算的示教MDP示例，证明在温和假设下 $ω_{state}$ 和 $ω_{inv}$ 的理论不充分性。
• 证明 $ω_{fwd}$ 在所有奖励函数下均足以表示最优Q函数。
• 在深度RL实验中，使用噪声对比估计进行互信息估计，处理视觉观测。
• 在带有和不带视觉干扰物的模拟游戏环境中，分别使用各目标学习的表征训练RL智能体。

实验结果

研究问题

• RQ1 在一般MDP中，哪些基于互信息的表征学习目标在理论上足以学习最优策略？
• RQ2 在简单MDP中，像 $ω_{state}$ 和 $ω_{inv}$ 这类常用目标是否可能无法表示必要的状态信息？
• RQ3 在视觉输入的深度RL中，表征目标的理论不充分性是否会导致可测量的性能下降？
• RQ4 是否存在某些MDP类别，使得理论上不充分的目标在实际或部分可观察设置下变得充分？
• RQ5 如果变分自编码器中的ELBO达到零失真解，它是否足以支持RL？

主要发现

• 目标 $ω_{fwd}$（即最大化当前状态与未来状态之间互信息）在一般MDP假设下，被证明足以表示最优Q函数。
• 目标 $ω_{state}$ 和 $ω_{inv}$ 在理论上不充分，因为即使在信息可预测的情况下，它们也可能无法表示对最优控制至关重要的状态信息。
• 在含干扰物的模拟视觉RL环境中，通过 $ω_{inv}$ 学习的表征在抓球游戏中未能正确追踪水果对象，其水果误差达0.47，而 $ω_{fwd}$ 仅为0.14。
• 在抓握球环境（catcher-grip）中，$ω_{state}$ 未能表示夹爪状态，抓握误差达0.50，而 $ω_{fwd}$ 仅产生0.12的误差。
• 在存在视觉干扰物的情况下，充分与不充分目标之间的性能差距进一步扩大，表明不充分目标容易被无关信息误导。
• 理论上的不充分性与实证性能下降直接相关，表明表征质量是视觉深度RL中的关键瓶颈。