[论文解读] Hyperbolic Deep Reinforcement Learning

Edoardo Cetin, Benjamin Chamberlain+2 more|arXiv (Cornell University)|Oct 4, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种新颖的深度强化学习框架，通过在双曲空间中建模潜在表征，以更好地捕捉序列决策中的层次结构。通过设计谱正则化的双曲映射（S-RYM），该方法稳定了训练过程并实现了端到端学习，在Procgen和Atari 100K基准测试中相比欧几里得基线实现了近乎普遍的性能提升与泛化优势。

ABSTRACT

We propose a new class of deep reinforcement learning (RL) algorithms that model latent representations in hyperbolic space. Sequential decision-making requires reasoning about the possible future consequences of current behavior. Consequently, capturing the relationship between key evolving features for a given task is conducive to recovering effective policies. To this end, hyperbolic geometry provides deep RL models with a natural basis to precisely encode this inherently hierarchical information. However, applying existing methodologies from the hyperbolic deep learning literature leads to fatal optimization instabilities due to the non-stationarity and variance characterizing RL gradient estimators. Hence, we design a new general method that counteracts such optimization challenges and enables stable end-to-end learning with deep hyperbolic representations. We empirically validate our framework by applying it to popular on-policy and off-policy RL algorithms on the Procgen and Atari 100K benchmarks, attaining near universal performance and generalization benefits. Given its natural fit, we hope future RL research will consider hyperbolic representations as a standard tool.

研究动机与目标

• 解决当前深度强化学习模型因缺乏合适的归纳偏置而难以学习可泛化的层次化特征的问题。
• 克服由非平稳且高方差的强化学习梯度导致的双曲强化学习中的优化不稳定性问题。
• 实现具有双曲潜在表征的深度强化学习智能体的稳定端到端训练。
• 验证双曲几何是否能提升策略在多样化强化学习基准测试中的泛化能力与性能表现。
• 确立双曲表征作为未来强化学习研究的标准归纳偏置。

提出的方法

• 提出谱正则化的双曲映射（S-RYM），结合缩放与谱归一化，以稳定双曲表征。
• 将S-RYM应用于基于策略（PPO）和非基于策略（DQN、SAC）的强化学习算法，实现与现有框架的无缝集成。
• 利用双曲几何建模状态表征中的层次关系，借助指数体积增长实现高效的树状结构编码。
• 采用δ-双曲性作为度量，量化所学表征的层次结构，并将其与性能相关联。
• 在不改变网络架构的前提下，将双曲框架与现有强化学习组件集成，确保与标准训练流程的兼容性。
• 在Procgen和Atari 100K基准测试上，采用标准评估协议与消融研究验证该方法。

实验结果

研究问题

• RQ1 双曲几何能否作为深度强化学习的有效归纳偏置，通过更优地编码层次化状态关系？
• RQ2 在强化学习梯度具有高方差和非平稳性的前提下，如何实现双曲表征的稳定端到端训练？
• RQ3 引入双曲几何是否能提升在多样化强化学习环境中的泛化能力与性能表现？
• RQ4 通过δ-双曲性度量的所学表征的层次结构，与强化学习性能之间是否存在相关性？
• RQ5 该双曲表征框架是否与其它前沿强化学习技术（如PPG和数据增强）兼容？

主要发现

• 所提出的双曲强化学习框架在Procgen和Atari 100K基准测试中相比欧几里得基线实现了近乎普遍的性能提升。
• 性能增益与潜在表征空间中δ-双曲性的增强密切相关，验证了层次化归纳偏置的重要性。
• 双曲表征减少了对训练数据的过拟合，尤其在未见过的环境（如bigfish和dodgeball）中显著提升了测试性能。
• 即使与Phasic Policy Gradient（PPG）等先进技术结合，该方法仍保持一致的优势，表明其具备正交兼容性与泛化增益。
• 通过随机位移进行数据增强会损害部分环境的性能，但双曲框架仍优于其欧几里得对应方法，表明其具备鲁棒性与普遍优势。
• 该框架在不增加计算成本的前提下实现了稳定训练，表明其在强化学习中具备高效、紧凑表征学习的潜力。