[論文レビュー] DARLA: Improving Zero-Shot Transfer in Reinforcement Learning

Irina Higgins, Arka Pal+7 more|arXiv (Cornell University)|Jul 26, 2017

Reinforcement Learning in Robotics参考文献 49被引用数 139

ひとこと要約

DARLAは stage1の無監督視覚で因子分離された潜在表現を学習し、stage2でソースポリシーを訓練する。これにより、ターゲットデータなしでも多様なドメインシフトをゼロショット転送可能とし、DeepMind LabおよびJaco/MuJoCo環境と複数のRLアルゴリズムにおける頑健性を向上させる。

ABSTRACT

Domain adaptation is an important open problem in deep reinforcement learning (RL). In many scenarios of interest data is hard to obtain, so agents may learn a source policy in a setting where data is readily available, with the hope that it generalises well to the target domain. We propose a new multi-stage RL agent, DARLA (DisentAngled Representation Learning Agent), which learns to see before learning to act. DARLA's vision is based on learning a disentangled representation of the observed environment. Once DARLA can see, it is able to acquire source policies that are robust to many domain shifts - even with no access to the target domain. DARLA significantly outperforms conventional baselines in zero-shot domain adaptation scenarios, an effect that holds across a variety of RL environments (Jaco arm, DeepMind Lab) and base RL algorithms (DQN, A3C and EC).

研究の動機と目的

• ターゲットドメインデータが乏しいまたは利用できない場合の強化学習におけるドメイン適応を動機づける。
• 強力なゼロショット転送を実現するための3段階パイプライン（見ることを学ぶ、行動を学ぶ、転送）を提案する。
• 分離された表現が、複数の環境とRLアルゴリズムにまたがるドメインシフトに対して頑健なポリシーを生み出すことを示す。
• 混在した表現とベースラインがゼロショット転送で示す限界を実証する。
• 頑健性の主張を裏付ける、検証対象とする環境全体での実証的証拠を提供する。

提案手法

• 三段階の DARLA パイプライン: 1) raw observations から unsupervised disentangled representation learning (F_U) で見ることを学ぶ; 2) 学習した潜在状態 s^z を用いてソースドメインのポリシーで行動を学ぶ; 3) retraining せずゼロショット転送を評価して転送。
• ベータ-VAE（および知覚的類似性損失を持つ beta-VAE_DAE）を用いて、変動の高レベル因子に対応する分離された潜在因子を学習する。
• RL段階では視覚モジュール F_U を固定し、転送に適した表現を強制する。
• latent 状態上で DQN, A3C, Episodic Control などの標準的なRLアルゴリズムを適用してソースポリシーを学習する。
• 分離表現を持つ DARLA を、混在表現のベースラインおよびデノイズドオートエンコーダベースライン（ DARLA_ENT, DARLA_DAE）と比較する。
• 多様なタスク：DeepMind Lab および Jaco/MuJoCo の sim2sim および sim2real シナリオで評価し、ドメインシフトに対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 無监督段階で分離された潜在表現を学ぶことは、ドメインシフトを横断するRLのゼロショット転送を改善しますか？
• RQ2 DARLA のパフォーマンスは、混在表現を持つベースラインや他の無監督視覚モデルと比較してどうですか？
• RQ3 転送性能は、学習された表現の分離の程度とどの程度相関しますか？
• RQ4 このアプローチは、ドメイン補間と外挿の双方、および知覚的現実ギャップ（sim2real）を含むものに対応できますか？

主な発見

• DARLA は複数の環境と基本RLアルゴリズムにおいて、ゼロショットドメイン適応で従来のベースラインを大幅に上回る。
• 第1段階で学習された分離表現は、ポリシーが無関係なドメイン属性を無視できるようにし、ターゲットドメインへの一般化を向上させる。
• DARLA は DeepMind Lab と Jaco/MuJoCo のタスクで、DQN, A3C, Episodic Control を横断して頑健なゼロショット転送を示す。
• 分離度と転送性能の間に正の相関がある（転送/分離スコア、r = 0.6、p < 0.001 の分析で報告）。
• ゼロショット転送における中央値の改善として示されており（ある文脈では270.3%と報告）、顕著な頑健性の向上を示す。
• 良い視覚表現（分離された表現）を学ぶことが重要であり、混在表現は転送で劣る。