[论文解读] The Laplacian in RL: Learning Representations with Efficient Approximations

Yifan Wu, George Tucker+1 more|arXiv (Cornell University)|Oct 10, 2018

Reinforcement Learning in Robotics参考文献 15被引用 7

一句话总结

本文提出了一种可扩展的、无需模型的方法，通过使用随机小批量更新优化谱图绘制目标，在强化学习中学习基于拉普拉斯算子的状态表示。该方法在近似拉普拉斯特征向量方面优于先前的方法，尤其是在非表格化设置下，并通过学习到的奖励塑造实现了更高的样本效率。

ABSTRACT

The smallest eigenvectors of the graph Laplacian are well-known to provide a succinct representation of the geometry of a weighted graph. In reinforcement learning (RL), where the weighted graph may be interpreted as the state transition process induced by a behavior policy acting on the environment, approximating the eigenvectors of the Laplacian provides a promising approach to state representation learning. However, existing methods for performing this approximation are ill-suited in general RL settings for two main reasons: First, they are computationally expensive, often requiring operations on large matrices. Second, these methods lack adequate justification beyond simple, tabular, finite-state settings. In this paper, we present a fully general and scalable method for approximating the eigenvectors of the Laplacian in a model-free RL context. We systematically evaluate our approach and empirically show that it generalizes beyond the tabular, finite-state setting. Even in tabular, finite-state settings, its ability to approximate the eigenvectors outperforms previous proposals. Finally, we show the potential benefits of using a Laplacian representation learned using our method in goal-achieving RL tasks, providing evidence that our technique can be used to significantly improve the performance of an RL agent.

研究动机与目标

• 解决现有基于拉普拉斯特征向量近似方法在无模型强化学习中计算不可行且泛化能力有限的问题。
• 实现高效、可扩展的状态表示学习，以反映行为策略下状态转移的真实几何结构。
• 提供一种理论上有依据的通用方法，适用于表格化、有限状态环境之外的场景。
• 通过实证验证所学拉普拉斯表示在通过奖励塑造改进策略学习方面的实用性。
• 证明基于拉普拉斯算子的表示可在离散网格世界和连续控制环境中加速学习。

提出的方法

• 该方法将状态表示学习表述为优化谱图绘制目标，其全局最优解可得到图拉普拉斯矩阵的最小特征向量。
• 使用函数逼近来参数化嵌入网络，支持在采样状态转移的小批量数据上进行端到端的随机梯度下降训练。
• 目标函数源自瑞利商，可在无需完整矩阵特征分解的情况下近似拉普拉斯特征向量。
• 该方法完全无模型，直接在经验回放缓冲区数据上运行，适用于在线和随机强化学习设置。
• 该方法学习到的表示能够编码状态空间的内在几何结构，包括障碍物和连通性，如在网格世界中所见。
• 通过在所学嵌入空间中计算L2距离实现奖励塑造，其结果比原始坐标或稀疏奖励更能准确反映可达性。

实验结果

研究问题

• RQ1 能否在无模型强化学习中，通过一种可扩展的通用方法，在无需昂贵矩阵运算的情况下近似图拉普拉斯矩阵的最小特征向量？
• RQ2 所提出的方法是否能泛化到非表格化、连续或高维状态空间，而不仅限于有限状态环境？
• RQ3 通过该方法学习到的基于拉普拉斯算子的表示能否在目标达成型强化学习任务中提升样本效率？
• RQ4 基于所学拉普拉斯嵌入的奖励塑造性能与稀疏奖励或原始坐标中的L2距离相比如何？
• RQ5 在状态空间与目标空间未直接对齐的连续控制环境中，该方法是否具有鲁棒性和有效性？

主要发现

• 所提方法在近似拉普拉斯特征向量方面优于先前方法，尤其在原始特征结构较差的非表格化设置中表现更优。
• 在TwoRooms和HardMaze等网格世界环境中，所学拉普拉斯表示生成的奖励形状能准确反映环境动力学，并避免虚假局部最优。
• 该方法显著加速了DQN训练智能体的学习过程，其中'mix'变体（学习到的L2距离与稀疏奖励的混合）在TwoRooms和HardMaze中均优于所有基线方法。
• 在DDPG用于连续控制任务时，'mix'和'fullmix'变体——分别使用目标或完整状态空间的嵌入表示——在性能上全面优于所有基线。
• 所学表示能显著加快收敛至最优策略，尤其在具有复杂动力学和障碍物的环境中。
• 即使在状态空间与目标空间未直接对齐的情况下，该方法仍表现有效，表明其对表示错位具有鲁棒性。