[论文解读] Control-Aware Representations for Model-based Reinforcement Learning

Brandon Cui, Yinlam Chow+1 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 27被引用 8

一句话总结

本文提出控制感知表征学习（CARL），一种在基于模型的强化学习中联合优化表征学习与控制的框架。通过制定与PCC原则一致的损失函数，并在潜在空间中以SAC替代iLQR，CARL在非线性环境中的性能显著提升，表明控制感知表征在Planar、Swingup和Cartpole等基准任务中优于标准方法。

ABSTRACT

A major challenge in modern reinforcement learning (RL) is efficient control of dynamical systems from high-dimensional sensory observations. Learning controllable embedding (LCE) is a promising approach that addresses this challenge by embedding the observations into a lower-dimensional latent space, estimating the latent dynamics, and utilizing it to perform control in the latent space. Two important questions in this area are how to learn a representation that is amenable to the control problem at hand, and how to achieve an end-to-end framework for representation learning and control. In this paper, we take a few steps towards addressing these questions. We first formulate a LCE model to learn representations that are suitable to be used by a policy iteration style algorithm in the latent space. We call this model control-aware representation learning (CARL). We derive a loss function for CARL that has close connection to the prediction, consistency, and curvature (PCC) principle for representation learning. We derive three implementations of CARL. In the offline implementation, we replace the locally-linear control algorithm (e.g.,~iLQR) used by the existing LCE methods with a RL algorithm, namely model-based soft actor-critic, and show that it results in significant improvement. In online CARL, we interleave representation learning and control, and demonstrate further gain in performance. Finally, we propose value-guided CARL, a variation in which we optimize a weighted version of the CARL loss function, where the weights depend on the TD-error of the current policy. We evaluate the proposed algorithms by extensive experiments on benchmark tasks and compare them with several LCE baselines.

研究动机与目标

• 解决基于原始感官观测在高维动力系统中使用基于模型的RL进行控制的挑战。
• 克服现有LCE方法在潜在空间中使用固定、非自适应控制器（如iLQR）的局限性。
• 开发一个端到端框架，联合优化表征学习与控制，以提升性能。
• 研究控制算法选择与迭代优化对表征质量及下游控制性能的影响。
• 形式化一个损失函数，整合控制相关的归纳偏置，如预测准确性、一致性与动力学平滑性（PCC原则）。

提出的方法

• 提出CARL，一种潜在空间中的控制感知表征学习框架，其表征与控制联合优化目标明确。
• 推导出与PCC原则（预测、一致性、曲率）强关联的CARL损失函数，促进潜在动力学的平滑与可预测性。
• 实现三种变体：离线CARL（以基于模型的SAC替代iLQR）、在线CARL（表征与策略的迭代联合学习）以及基于价值的CARL（损失按TD误差加权）。
• 使用变分自编码器（VAE）进行表征学习，并使用动力学模型预测潜在空间中的状态转移。
• 在潜在空间中应用基于模型的软演员评论家（SAC）作为策略优化算法，实现样本高效且稳定的训练。
• 在基于价值的CARL中，利用当前策略的时序差分（TD）误差重新加权CARL损失，以优先关注高不确定性或高误差区域。

实验结果

研究问题

• RQ1 能否通过在学习目标中显式引入控制算法来改进表征学习？
• RQ2 在潜在空间中以策略迭代风格的RL算法（如SAC）替代iLQR，对控制性能有何影响？
• RQ3 通过在线更新实现表征学习与策略优化的交替，是否能获得更优的表征与控制性能？
• RQ4 基于TD误差的损失加权是否能通过聚焦于难以控制的区域，进一步提升性能？
• RQ5 在非线性、高维控制任务中，控制感知表征与标准LCE方法相比表现如何？

主要发现

• 在Planar环境中，离线CARL显著优于PCC（使用iLQR），最差模型的平均目标状态步数分别为33.46±4.61% vs. 6.15±2.89%。
• 在Cartpole环境中，离线CARL在最佳模型上达到100.0±0.0%的成功率，超过PCC的99.85±0.08%，展现出更强的鲁棒性。
• 在线CARL在离线CARL的基础上进一步提升了性能，表明迭代式联合学习可增强表征质量与策略有效性。
• 基于价值的CARL通过聚焦于高误差区域，提升了泛化能力，表现为性能方差降低，并能更好地处理非光滑的潜在动力学。
• 潜在空间可视化结果表明，使用SAC训练的CARL表征比使用iLQR的PCC表征更平滑、更具局部线性特性，尤其在非线性环境中表现更优。
• 即使在固定起始与目标状态的情况下，SOLAR的性能仍显著低于CARL变体，凸显CARL在样本效率与控制感知表征学习方面的优越性。