[论文解读] Model-free Representation Learning and Exploration in Low-rank MDPs

Aditya Modi, Jing‐Lin Chen+3 more|arXiv (Cornell University)|Feb 14, 2021

Reinforcement Learning in Robotics参考文献 38被引用 12

一句话总结

该论文提出了首个针对低秩马尔可夫决策过程（MDPs）的无模型表示学习与探索算法，引入了一种新颖的极小极大表示学习目标，实现了无需完整模型动态信息的可证明样本高效学习。该方法将此目标与无奖励探索相结合，通过通用函数逼近实现样本效率与可扩展性，当特征类可枚举时具备计算高效性。

ABSTRACT

The low rank MDP has emerged as an important model for studying representation learning and exploration in reinforcement learning. With a known representation, several model-free exploration strategies exist. In contrast, all algorithms for the unknown representation setting are model-based, thereby requiring the ability to model the full dynamics. In this work, we present the first model-free representation learning algorithms for low rank MDPs. The key algorithmic contribution is a new minimax representation learning objective, for which we provide variants with differing tradeoffs in their statistical and computational properties. We interleave this representation learning step with an exploration strategy to cover the state space in a reward-free manner. The resulting algorithms are provably sample efficient and can accommodate general function approximation to scale to complex environments.

研究动机与目标

• 为解决低秩MDP中表示学习与探索的挑战，而无需依赖完整模型动态信息，因先前方法均为基于模型的。
• 开发一种无模型方法，学习表示而不假设已知或参数化可实现的特征。
• 实现在共享动态但奖励不同的下游任务中样本高效学习。
• 设计一种在弱可实现性假设下兼具统计稳健性与计算高效性的表示学习目标。
• 将表示学习与无奖励探索相结合，以有效覆盖状态空间。

提出的方法

• 基于任意函数的贝尔曼备份在真实特征映射 $\phi^*$ 下为线性这一洞察，提出一种新的极小极大表示学习目标。
• 将目标表述为在由特征类 $\Phi$ 诱导的判别器类 $\mathcal{F}$ 上最小化贝尔曼备份的最坏情况近似误差。
• 引入判别器类的增量扩展机制，以提升计算可处理性。
• 当特征类 $\Phi$ 可高效枚举时，将极小极大优化简化为特征向量计算，从而确保可证明的计算效率。
• 将表示学习步骤与无奖励探索策略交错进行，以确保完全覆盖状态空间。
• 使用通用函数逼近将算法扩展至复杂环境，避免对参数化假设的严格限制。

实验结果

研究问题

• RQ1 是否可以在不依赖基于模型的动态估计的前提下，实现在低秩MDP中的表示学习与探索？
• RQ2 是否可能以无模型方式学习表示，从而在共享动态但奖励不同的多个下游任务中实现样本高效学习？
• RQ3 如何设计一种极小极大目标，以在不依赖值函数或逆动态可实现性的情况下学习表示？
• RQ4 所提出的极小极大表示学习目标的不同变体在统计与计算之间存在何种权衡？
• RQ5 该算法是否能在使用通用函数逼近扩展至高维环境时仍保持样本效率？

主要发现

• 所提出的无模型算法在低秩MDP中实现了可证明的样本效率，且无需完整模型动态信息，优于先前基于模型的方法。
• 极小极大表示学习目标可实现对判别器类中所有函数的贝尔曼备份的线性近似，且无需额外可实现性假设。
• 当特征类 $\Phi$ 可高效枚举时，优化问题可简化为特征向量计算，从而确保可证明的计算效率。
• 该算法支持通用函数逼近，可扩展至复杂环境（如使用深度神经网络的环境）。
• 通过将表示学习与无奖励探索相结合，该方法有效覆盖了状态空间，实现了样本效率。
• 对复合假设类（如函数的乘积与和）的伪维数界支持分析中的泛化性与泛化界。