[论文解读] Information Theoretically Aided Reinforcement Learning for Embodied Agents

Guido Montúfar, Keyan Ghazi-Zahedi+1 more|arXiv (Cornell University)|May 31, 2016

Reinforcement Learning in Robotics参考文献 19被引用 9

一句话总结

本文提出使用预测信息——通过连续传感器读数之间的互信息来衡量——作为内在奖励，以平滑具身智能体在策略梯度强化学习中的崎岖优化景观。通过以几何混合方式结合该内在信号与外在运动奖励，该方法显著提升了学习的稳定性和性能，尤其在标准强化学习算法常被局部最优解困住的复杂形态中表现突出。

ABSTRACT

Reinforcement learning for embodied agents is a challenging problem. The accumulated reward to be optimized is often a very rugged function, and gradient methods are impaired by many local optimizers. We demonstrate, in an experimental setting, that incorporating an intrinsic reward can smoothen the optimization landscape while preserving the global optimizers of interest. We show that policy gradient optimization for locomotion in a complex morphology is significantly improved when supplementing the extrinsic reward by an intrinsic reward defined in terms of the mutual information of time consecutive sensor readings.

研究动机与目标

• 解决具身智能体在复杂形态下强化学习中面临的崎岖、非凸奖励景观挑战。
• 通过引入鼓励协调性、探索性行为的内在奖励，改进策略梯度优化。
• 探究时间连续传感器读数的预测信息是否可作为可扩展且有效的内在奖励信号。
• 证明结合内在与外在奖励可在保留全局最优解的同时减少局部最优解陷阱。

提出的方法

• 使用连续传感器读数之间的互信息 $\operatorname{MI}(S; S')$ 作为内在奖励信号，以鼓励协调且多样的传感器动态。
• 通过几何混合方式将外在运动奖励与内在互信息奖励结合：$R_{\text{total}} = R_{\text{ext}}^{1-\xi} \cdot R_{\text{MI}}^{\xi}$，其中 $\xi \in [0,1]$ 控制权衡。
• 应用策略梯度强化学习，并采用连续、可扩展的策略模型（例如基于限制玻尔兹曼机的策略）来优化组合目标。
• 使用变分推断的可微分近似来估计互信息，以支持端到端训练。
• 采用模块化控制器架构，更好地适应智能体的形态并提升策略的表达能力。
• 采用类似课程学习的策略：初期侧重互信息以促进探索，随后逐步转向外在奖励。

实验结果

研究问题

• RQ1 连续传感器读数之间的预测信息是否可作为有效内在奖励，以改善复杂具身系统中的策略梯度学习？
• RQ2 将互信息与外在运动奖励结合，如何影响优化景观与学习稳定性？
• RQ3 内在（预测信息）与外在（运动）奖励之间最优平衡为何值，可最大化学习性能？
• RQ4 引入互信息是否能带来在高维、复杂形态中更鲁棒且协调的运动行为？
• RQ5 该方法是否可在不同形态、传感器配置与连接结构间实现泛化？

主要发现

• 在奖励目标中适度引入互信息（例如 $\xi = 0.75$）可显著提升策略梯度学习的收敛性与稳定性。
• 组合目标平滑了优化景观，减少了纯外在奖励训练中常见的局部最优解陷阱。
• 采用内在奖励训练的策略表现出更高鲁棒性，表现为性能下降更平缓，且在多次训练运行中改进更一致。
• 高运动性能的行为始终表现出高互信息值，表明协调运动自然与高预测信息相关。
• 该方法具备可扩展性与泛化能力，在不同配置下（包括不同传感器分辨率、网络架构与连接模式）均表现出一致的性能提升。
• 该方法优于纯外在奖励训练，尤其在标准强化学习因稀疏且崎岖的奖励信号而难以收敛的复杂形态中表现更优。