[论文解读] Invariant Policy Optimization: Towards Stronger Generalization in Reinforcement Learning

Anoopkumar Sonar, Vincent Pacelli+1 more|arXiv (Cornell University)|Jun 1, 2020

Reinforcement Learning in Robotics参考文献 38被引用 13

一句话总结

该论文提出了一种名为不变策略优化（Invariant Policy Optimization, IPO）的强化学习算法，通过识别观测中的因果结构，使策略在训练域之间保持不变。通过训练一个使最优动作预测器在所有域中保持一致的表征，IPO在未见过的环境中（包括LQR任务、彩色钥匙导航问题以及具有不同物理属性的开门任务）的泛化性能显著优于标准策略梯度方法（如PPO）。

ABSTRACT

A fundamental challenge in reinforcement learning is to learn policies that generalize beyond the operating domains experienced during training. In this paper, we approach this challenge through the following invariance principle: an agent must find a representation such that there exists an action-predictor built on top of this representation that is simultaneously optimal across all training domains. Intuitively, the resulting invariant policy enhances generalization by finding causes of successful actions. We propose a novel learning algorithm, Invariant Policy Optimization (IPO), that implements this principle and learns an invariant policy during training. We compare our approach with standard policy gradient methods and demonstrate significant improvements in generalization performance on unseen domains for linear quadratic regulator and grid-world problems, and an example where a robot must learn to open doors with varying physical properties.

研究动机与目标

• 解决在部署策略至未见运行域时强化学习泛化能力差的挑战。
• 开发一种方法，通过利用因果结构中的不变性，使策略对分布漂移具有鲁棒性。
• 提升真实世界强化学习应用（如机器人和自主系统）中的泛化能力，这些应用中训练域与部署域存在差异。
• 形式化并实现一种不变性原则，以识别在多样化训练域中导致成功动作的原因。
• 与标准策略梯度方法（如PPO）相比，展示在未见域中的优越性能。

提出的方法

• IPO将问题表述为学习一种表征，使得基于该表征构建的最优动作预测器在所有训练域中保持不变。
• 该方法采用演员-评论家架构，包含共享的表征网络和域不变的策略头。
• 采用固定表征（Fixed-Φ）设置以稳定训练，并在策略优化过程中强制实现不变性。
• 该算法优化一个在所有域中同时表现良好的策略，隐式学习忽略非因果的干扰特征（例如钥匙颜色）。
• IPO通过结合标准强化学习损失和域不变表征学习进行训练，其灵感来自不变风险最小化（IRM）。
• 该方法在三个环境中进行了评估：带有干扰观测的LQR环境、带有彩色钥匙的网格世界环境，以及具有不同摩擦系数的MuJoCo门开启任务。

实验结果

研究问题

• RQ1 能否通过学习环境的不变表征，训练出在未见域中泛化的强化学习策略？
• RQ2 在训练域中保持不变的策略是否能在分布外的测试环境中取得更好性能？
• RQ3 在泛化到新型物理属性（如门的摩擦系数）方面，IPO与标准策略梯度方法（如PPO）相比表现如何？
• RQ4 IPO能否学习到对环境变化具有鲁棒性的因果策略（如正确的钩挂动作），而基线方法则不能？
• RQ5 在导航任务中，不变表征学习在多大程度上能减少对非因果特征（如钥匙颜色）的过拟合？

主要发现

• 在带有干扰观测的LQR任务中，IPO在未见域中的平均成功率达到98.5%，而PPO仅为87.2%，表现出强大的泛化能力。
• 在彩色钥匙网格世界任务中，IPO在灰色钥匙测试域中达到92.0%的成功率，而PPO下降至41.0%。
• 在训练时未见过的更高摩擦门开启任务中，IPO在五组随机种子下平均成功率达到78.4%，而PPO仅为32.0%。
• 在门开启任务中，IPO在全部五组随机种子中均稳定学习到鲁棒的钩挂策略，而PPO在三组中表现出不一致行为，依赖于钩子外侧。
• 策略的定性差异——PPO表现出脆弱且依赖上下文的行为，而IPO则展现出一致且基于因果的策略——凸显了IPO学习不变且因果驱动行为的能力。
• 结果表明，IPO在所有三个基准任务中，无论在定量成功率还是定性鲁棒性方面，均显著优于PPO。