[論文レビュー] An Imitation from Observation Approach to Transfer Learning with Dynamics Mismatch

Siddharth Desai, Ishan Durugkar+4 more|arXiv (Cornell University)|Aug 4, 2020

Reinforcement Learning in Robotics参考文献 45被引用数 15

ひとこと要約

本稿では、シミュレータを現実世界のダイナミクスに固定することで、シミュレータから現実世界への転移を向上させる、GARATと呼ばれる新しい敵対的模倣観察手法を提案する。シミュレータのダイナミクスを現実世界のダイナミクスに固定する問題を模倣観察問題として定式化することで、GARATは状態のデモンストレーションのみを用いてダイナミクス適合ポリシーを学習し、最小限の現実世界での相互作用で優れた転移性能を達成する。ミニタウル領域では、わずか1,000件の現実世界遷移のみを用いて、GATなどの先行手法を最大80%の最適性能まで上回る性能を達成する。

ABSTRACT

We examine the problem of transferring a policy learned in a source environment to a target environment with different dynamics, particularly in the case where it is critical to reduce the amount of interaction with the target environment during learning. This problem is particularly important in sim-to-real transfer because simulators inevitably model real-world dynamics imperfectly. In this paper, we show that one existing solution to this transfer problem - grounded action transformation - is closely related to the problem of imitation from observation (IfO): learning behaviors that mimic the observations of behavior demonstrations. After establishing this relationship, we hypothesize that recent state-of-the-art approaches from the IfO literature can be effectively repurposed for grounded transfer learning.To validate our hypothesis we derive a new algorithm - generative adversarial reinforced action transformation (GARAT) - based on adversarial imitation from observation techniques. We run experiments in several domains with mismatched dynamics, and find that agents trained with GARAT achieve higher returns in the target environment compared to existing black-box transfer methods

研究の動機と目的

• シミュレータから現実世界の環境へのポリシー転移を、ダイナミクスの不一致がある状況で、現実世界での相互作用が高コストである場合に解決すること。
• 最先端の状態観察からの模倣（IfO）技術が、転移学習におけるシミュレータの固定に再利用可能かどうかを調査すること。
• ソース環境とターゲット環境間の分布不一致を低減するためのアクション変換ポリシーを学習する新しいアルゴリズムを開発すること。
• 敵対的模倣学習技術が、シミュレータから現実世界のシナリオにおける固定と転移効率を向上させられることを検証すること。

提案手法

• 本稿では、地上のアクション変換（GAT）を、アクションが観測されないが状態軌道のみが観測される状態の模倣観察（IfO）問題として定式化する。
• 生成的敵対ネットワーク（GAN）にインspiredされた分布一致目的を導入し、ソース環境とターゲット環境の状態分布を一致させる。
• 提案されたGARATアルゴリズムは、ソース環境からのアクションを変換するポリシーを訓練し、その結果得られる状態軌道がターゲット環境の軌道と一致するようにする。
• 本手法は、実際のターゲット環境の軌道と生成されたソース軌道を区別するための識別器を使用し、敵対的訓練を可能にする。
• ポリシーは強化学習により最適化され、識別器が実際の軌道と生成された軌道を区別できないようにする。
• 本アプローチは、効果的なアクション変換ポリシーを学習するために、わずか数個の現実世界遷移のみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 地上のアクション変換を、観察からの模倣問題として形式的に解釈できるか？
• RQ2 最先端の敵対的観察からの模倣技術が、シミュレータから現実世界への転移におけるダイナミクス不一致を効果的に低減できるか？
• RQ3 提案されたGARATアルゴリズムは、既存のブラックボックス転移手法よりもソース環境の固定をより良く行うか？
• RQ4 改善された固定が、ターゲット環境におけるポリシー性能の向上にどの程度寄与するか？

主な発見

• GARATは、ソース環境とターゲット環境間の分布不一致を顕著に低減し、GATよりも優れた固定品質を達成する。
• 重力が2倍にされたMuJoCo Antドメインでは、GARATは高い性能を達成するポリシーを成功裏に転送するが、ベースライン手法は失敗する。
• 高忠実度のMinitaurドメインでは、GARATはわずか1,000件の現実世界遷移を用いて、最適ターゲット性能の80%以上を達成する。これに対してGATは10倍のデータを用いても最大50%にとどまる。
• WalkerおよびAnt環境では、GARATはGATや他のブラックボックス転移技術を含むすべてのベースライン手法よりも高い報酬を一貫して達成する。
• 本手法は、高次元の状態空間や複雑なダイナミクスを持つ多様なドメインにおいても、強力な転移を示す。
• 結果から、敵対的観察からの模倣技術を活用することで、より効果的な固定と、より良いシミュレータから現実世界への転移が達成されることを確認した。