[论文解读] DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

Irina Higgins, Arka Pal+7 more|arXiv (Cornell University)|Jul 26, 2017

Reinforcement Learning in Robotics参考文献 49被引用 139

一句话总结

DARLA 在第一阶段通过无监督视觉学习得到可解耦的潜在表示，然后在第二阶段训练源策略，从而实现零样本跨越多样域偏移的传 transfer，且无需目标域数据。该方法在 DeepMind Lab、Jaco/MuJoCo 环境以及多种 RL 算法上提高鲁棒性。

ABSTRACT

Domain adaptation is an important open problem in deep reinforcement learning (RL). In many scenarios of interest data is hard to obtain, so agents may learn a source policy in a setting where data is readily available, with the hope that it generalises well to the target domain. We propose a new multi-stage RL agent, DARLA (DisentAngled Representation Learning Agent), which learns to see before learning to act. DARLA's vision is based on learning a disentangled representation of the observed environment. Once DARLA can see, it is able to acquire source policies that are robust to many domain shifts - even with no access to the target domain. DARLA significantly outperforms conventional baselines in zero-shot domain adaptation scenarios, an effect that holds across a variety of RL environments (Jaco arm, DeepMind Lab) and base RL algorithms (DQN, A3C and EC).

研究动机与目标

• 在目标域数据稀缺或不可用的情况下，激发强化学习中的领域自适应。
• 提出一个三阶段管线（学会看、学会动作、转移）以实现鲁棒的零样本转移。
• 证明可解耦表示能够使策略对跨环境和多种 RL 算法的领域偏移具有鲁棒性。
• 展示 entangled 表示和基线在零样本转移中的局限性。
• 提供对待测试环境的实证证据以支持鲁棒性主张。

提出的方法

• 三阶段 DARLA 流程：1) 使用无监督的可解耦表示学习（F_U）从原始观测值中学会看；2) 使用学习得到的潜在状态 s^z 与源域策略进行行动学习；3) 通过在无需再训练的情况下对目标域进行零样本转移来进行转移评估。
• 使用 beta-VAE（以及带感知相似性损失的 beta-VAE_DAE）来学习对应高层生成因子的可解耦潜在因子。
• 在强化学习阶段保持视觉模块 F_U 固定，以强制获得更易转移的表示。
• 在潜在状态上应用标准 RL 算法（DQN、A3C、Episodic Control）来学习源策略。
• 将可解耦表示的 DARLA 与具有 entangled 表示的基线以及去噪自编码器基线（DARLA_ENT、DARLA_DAE）进行比较。
• 在多样化任务上进行评估：DeepMind Lab 和 Jaco/MuJoCo 的 sim2sim 和 sim2real 场景，以评估对领域偏移的鲁棒性。

实验结果

研究问题

• RQ1 在无监督阶段学习到的可解耦潜在表示是否能在 RL 的零样本转移中提升跨域偏移的鲁棒性？
• RQ2 在各种 RL 环境中，DARLA 与具有 entangled 表示的基线或其他无监督视觉模型相比的表现如何？
• RQ3 转移性能在多大程度上与所学习表示的解耦程度相关？
• RQ4 该方法是否能够处理域间插值和外推，包括感知现实差距（sim2real）？

主要发现

• DARLA 在跨多个环境和基础 RL 算法的零样本域自适应中显著优于常规基线。
• 第一阶段学习到的可解耦潜在表示使策略能够忽略不相关的域属性，从而提高对目标域的泛化。
• DARLA 在 DeepMind Lab 和 Jaco/MuJoCo 任务以及 DQN、A3C 和 Episodic Control 上表现出鲁棒的零样本转移。
• 在解耦程度与转移性能之间存在正相关（转移/解耦分数，r = 0.6，p < 0.001 在一个报告的分析中）。
• 在零样本转移方面的中位数提升（例如在一个情境中报告为 270.3%），表明鲁棒性提升显著。
• 学习良好的视觉表示（可解耦表示）至关重要；而 entangled 表示在转移中表现较差。