[论文解读] Analysing Deep Reinforcement Learning Agents Trained with Domain Randomisation

Tianhong Dai, Kai Arulkumaran+4 more|arXiv (Cornell University)|Dec 18, 2019

Reinforcement Learning in Robotics被引用 7

一句话总结

本文研究了在仿真环境中通过领域随机化（DR）训练的深度强化学习智能体，对比其与非DR智能体在泛化能力、内部表征及可解释性方面的表现。研究发现，DR能促进更鲁棒、更纠缠的视觉表征，具有结构化的卷积滤波器并高度依赖循环处理，但DR也可能导致过拟合和更高的样本复杂度，因此需要结合多种可解释性方法以实现可靠的分析。

ABSTRACT

Deep reinforcement learning has the potential to train robots to perform complex tasks in the real world without requiring accurate models of the robot or its environment. A practical approach is to train agents in simulation, and then transfer them to the real world. One popular method for achieving transferability is to use domain randomisation, which involves randomly perturbing various aspects of a simulated environment in order to make trained agents robust to the reality gap. However, less work has gone into understanding such agents - which are deployed in the real world - beyond task performance. In this work we examine such agents, through qualitative and quantitative comparisons between agents trained with and without visual domain randomisation. We train agents for Fetch and Jaco robots on a visuomotor control task and evaluate how well they generalise using different testing conditions. Finally, we investigate the internals of the trained agents by using a suite of interpretability techniques. Our results show that the primary outcome of domain randomisation is more robust, entangled representations, accompanied with larger weights with greater spatial structure; moreover, the types of changes are heavily influenced by the task setup and presence of additional proprioceptive inputs. Additionally, we demonstrate that our domain randomised agents require higher sample complexity, can overfit and more heavily rely on recurrent processing. Furthermore, even with an improved saliency method introduced in this work, we show that qualitative studies may not always correspond with quantitative measures, necessitating the combination of inspection tools in order to provide sufficient insights into the behaviour of trained agents.

研究动机与目标

• 理解领域随机化（DR）如何影响在仿真环境中训练的深度强化学习智能体的泛化能力与内部表征。
• 评估DR对样本效率、对视觉与环境扰动的鲁棒性，以及对循环处理依赖性的影响。
• 评估可解释性技术（尤其是多种技术组合使用时）在分析DR训练智能体方面的有效性。
• 探究DR引起的网络内部变化是否与泛化能力提升或过拟合等非预期行为相关。
• 通过识别DR智能体中可被无DR方式复现的关键结构与表征特性，为模拟到现实的迁移提供指导。

提出的方法

• 在Fetch和Jaco机器人操控任务上，使用PPO算法训练DRL智能体，配置包括是否使用视觉领域随机化（DR），以及是否包含本体感觉输入，涵盖多种实验设置。
• 通过单位测试评估泛化能力，测试内容包括视觉扰动（如随机光照、纹理）、干扰物，以及从DR模拟视觉到标准模拟视觉的领域迁移。
• 应用多种可解释性技术：显著性图（含一种新型改进方法）、单元消融、激活最大化、滤波器范数分析，以及表征纠缠度测量。
• 使用卷积滤波器的ℓ₁-范数分析量化DR引起的特征检测器结构变化。
• 通过不同视觉条件下表征之间的纠缠度分数测量表征不变性。
• 对循环层（LSTM）和最终策略层进行消融研究，以评估模块化程度及对重新初始化的鲁棒性。

实验结果

研究问题

• RQ1 领域随机化如何影响DRL智能体在视觉与环境扰动下的泛化性能？
• RQ2 领域随机化在DRL智能体中引起哪些内部结构与表征变化，特别是卷积滤波器与隐藏表征方面？
• RQ3 DR智能体在多大程度上依赖循环处理？与非DR智能体相比有何差异？
• RQ4 显著性图、消融分析与激活最大化等可解释性技术能否为DR智能体行为提供一致且可靠的洞察？
• RQ5 领域随机化是否在某些配置下导致过拟合？本体感觉输入的存在如何影响这一现象？

主要发现

• 与非DR智能体相比，使用领域随机化训练的智能体在多样化测试条件下（包括视觉扰动与干扰物）表现出显著更高的泛化性能。
• DR导致卷积滤波器更具结构性与空间组织性，ℓ₁-范数更高，表明其具备更复杂且鲁棒的特征检测能力。
• 表征纠缠度分析显示，DR智能体在不同视觉条件下学习到更具不变性与任务特异性的特征，不同视觉条件下嵌入表示的重叠度更高。
• 尽管预期DR会降低滤波器消融下的性能波动，但实际结果相反：DR智能体基线性能更优，表明其鲁棒性增强而非对滤波器变化的敏感性降低。
• DR智能体表现出对循环处理（LSTM）的强烈依赖，表现为当循环状态被消融时性能显著下降，而非DR智能体则基本不受影响。
• 一个出人意料的过拟合案例出现在未使用本体感觉输入的Jaco智能体上：该智能体在DR训练后，在标准（非DR）视觉环境下测试时表现更差，表明DR可能在感官输入较少的设置中引发分布过拟合。