[论文解读] A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning

Jixian Guo, Mingming Gong+1 more|arXiv (Cornell University)|Jun 9, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出了一种关系干预方法（RIA），用于在基于模型的强化学习（MBRL）中实现无监督动态泛化，通过从无标签的过渡片段中学习特定于环境的因子 $ frac{Z}{Z}$ 来实现。该方法引入了一个干预模块，用于估计两个 $ frac{Z}{Z}$ 向量是否属于同一环境的概率，并设计了一个关系头以增强此类向量之间的相似性，从而减少冗余信息，提升动态预测精度以及在未见动态环境下的强化学习智能体性能。

ABSTRACT

The generalization of model-based reinforcement learning (MBRL) methods to environments with unseen transition dynamics is an important yet challenging problem. Existing methods try to extract environment-specified information $Z$ from past transition segments to make the dynamics prediction model generalizable to different dynamics. However, because environments are not labelled, the extracted information inevitably contains redundant information unrelated to the dynamics in transition segments and thus fails to maintain a crucial property of $Z$: $Z$ should be similar in the same environment and dissimilar in different ones. As a result, the learned dynamics prediction function will deviate from the true one, which undermines the generalization ability. To tackle this problem, we introduce an interventional prediction module to estimate the probability of two estimated $\hat{z}_i, \hat{z}_j$ belonging to the same environment. Furthermore, by utilizing the $Z$'s invariance within a single environment, a relational head is proposed to enforce the similarity between $\hat{Z}$ from the same environment. As a result, the redundant information will be reduced in $\hat{Z}$. We empirically show that $\hat{Z}$ estimated by our method enjoy less redundant information than previous methods, and such $\hat{Z}$ can significantly reduce dynamics prediction errors and improve the performance of model-based RL methods on zero-shot new environments with unseen dynamics. The codes of this method are available at \url{https://github.com/CR-Gjx/RIA}.

研究动机与目标

• 解决基于模型的强化学习（MBRL）在未见过渡动态环境中的泛化挑战。
• 克服现有无监督方法的局限性：这些方法虽能从过渡片段中提取特定于环境的因子 $Z$，但会引入冗余的、与动态无关的信息。
• 确保估计出的 $\hat{Z}$ 向量在相同环境中相似，而在不同环境中相异，以保留 $Z$ 的关键属性。
• 提升MBRL智能体在零样本设置下的鲁棒性与泛化能力，此时动态与训练环境不同。

提出的方法

• 使用上下文编码器从历史过渡片段中估计特定于环境的因子 $\hat{Z}$，将其视为未观测到的 $Z$ 的替代品。
• 引入一个干预预测模块，基于对比学习方法计算两个 $\hat{Z}$ 向量是否源自同一环境的概率。
• 设计一个关系头，将具有高环境间相似性的 $\hat{Z}$ 向量聚类，以强制实现单个环境中 $\hat{Z}$ 的不变性。
• 使用优化后的 $\hat{Z}$ 训练动态预测模型，以提升对未见动态的泛化能力。
• 采用自监督对比目标，促使来自同一环境的 $\hat{Z}$ 向量在潜在空间中更接近。
• 将学习到的 $\hat{Z}$ 集成到动态模型中，以实现在具有不同过渡动态的环境之间的泛化。

实验结果

研究问题

• RQ1 我们能否在不引入冗余的、与动态无关的信息的前提下，从未标记的过渡片段中学习到特定于环境的因子 $\hat{Z}$？
• RQ2 我们如何在无监督条件下强制实现单个环境中 $\hat{Z}$ 的不变性以及不同环境间的差异性？
• RQ3 所提出的干预与关系头机制是否能降低轨迹特异性噪声的影响并提升动态泛化能力？
• RQ4 与先前的无监督方法相比，该方法在未见动态环境上的MBRL智能体零样本泛化能力提升程度如何？

主要发现

• 与CaDM和TMCL等基线方法相比，该方法在未见测试环境中的动态预测误差显著降低。
• 干预模块为来自同一环境的估计 $\hat{Z}$ 向量分配了更高的相似性分数，表明实现了有效的无监督聚类。
• 使用RIA训练的基于模型的强化学习智能体在零样本测试环境中的平均回报高于使用其他无监督方法训练的智能体。
• 消融实验证实，关系头和干预模块均不可或缺：移除任一模块均导致性能下降，尤其是在减少冗余信息方面。
• 该方法的性能与使用真实环境标签进行 $\hat{Z}$ 聚类的监督基线相当，表明其具备强大的无监督解耦能力。
• 预测误差曲线在训练过程中持续改善，未见动态的泛化误差更低，证实了所学习 $\hat{Z}$ 的鲁棒性。