[论文解读] Learning Efficient Representation for Intrinsic Motivation

Ruihan Zhao, Stas Tiomkin+1 more|arXiv (Cornell University)|Dec 4, 2019

Reinforcement Learning in Robotics参考文献 14被引用 5

一句话总结

该论文提出了一种新颖的方法，可在不依赖昂贵采样的情况下，高效估计高维视觉环境中“赋能”（即动作与未来状态之间的互信息）。通过使用深度神经网络学习结构化的潜在空间动力学模型，并应用信息论中的“水填充分配”算法，该方法实现了精准的赋能计算，成功实现了稳定倒立摆的内在动机，并在隧道环境中引导更安全的导航。

ABSTRACT

Mutual Information between agent Actions and environment States (MIAS) quantifies the influence of agent on its environment. Recently, it was found that the maximization of MIAS can be used as an intrinsic motivation for artificial agents. In literature, the term empowerment is used to represent the maximum of MIAS at a certain state. While empowerment has been shown to solve a broad range of reinforcement learning problems, its calculation in arbitrary dynamics is a challenging problem because it relies on the estimation of mutual information. Existing approaches, which rely on sampling, are limited to low dimensional spaces, because high-confidence distribution-free lower bounds for mutual information require exponential number of samples. In this work, we develop a novel approach for the estimation of empowerment in unknown dynamics from visual observation only, without the need to sample for MIAS. The core idea is to represent the relation between action sequences and future states using a stochastic dynamic model in latent space with a specific form. This allows us to efficiently compute empowerment with the "Water-Filling" algorithm from information theory. We construct this embedding with deep neural networks trained on a sophisticated objective function. Our experimental results show that the designed embedding preserves information-theoretic properties of the original dynamics.

研究动机与目标

• 解决在高维、未知环境中估计动作与状态之间互信息的计算不可行性问题。
• 在无需专家提供的奖励函数的情况下，利用视觉观测实现真实机器人系统中的内在动机。
• 开发一种表征学习框架，以保留原始动力学的信息论特性，用于赋能计算。
• 在非线性环境中验证该方法在实现稳定控制与安全导航方面内在学习的有效性。

提出的方法

• 在潜在空间中学习一个随机动力学模型，其中最终状态对动作序列呈线性关系，从而实现高效的赋能计算。
• 使用自定义目标函数训练深度神经网络，将观测与动作嵌入潜在空间，以保留原始动力学的信息论结构。
• 应用信息论中的“水填充分配”算法，高效计算潜在空间中的信道容量（即赋能）。
• 将计算得到的赋能作为内在奖励信号，用于指导强化学习中的策略学习。
• 设计 IMPAC（内在动机感知与动作循环）框架，将感知、赋能估计与策略优化集成在闭环系统中。
• 在两个任务场景中验证该方法：非线性倒立摆的稳定控制与双隧道环境中的安全导航。

实验结果

研究问题

• RQ1 能否在无需基于采样的互信息估计的前提下，从未知环境的原始视觉观测中高效估计赋能？
• RQ2 所学习的潜在空间表征是否保留了原始动力学中用于准确赋能计算所必需的信息论特性？
• RQ3 在潜在空间中计算的赋能能否作为有意义的内在奖励，用于解决如倒立摆稳定等复杂控制任务？
• RQ4 基于赋能的内在奖励能否引导智能体在导航任务中偏好更安全、更鲁棒的路径？

主要发现

• 所提出的方法成功生成了与倒立摆问题解析解定性一致的赋能分布图，验证了其准确性。
• 智能体仅使用学习到的赋能作为内在奖励，即成功学习到将倒立摆稳定在竖直位置，证明了有效的内在学习能力。
• 在双隧道环境中，赋能分布图正确反映了在狭窄隧道中控制效能降低的现象，证实该方法能捕捉环境约束。
• 随着内在奖励权重（β）的增加，智能体逐渐偏好更长但更安全的宽隧道路径，表明赋能能引导保守、安全的行为。
• 该方法实现了无需采样的高效赋能估计，使该方法可应用于高维视觉空间，而此前的方法在该场景下均告失效。