[論文レビュー] SimGAN: Hybrid Simulator Identification for Domain Adaptation via Adversarial Reinforcement Learning

Yifeng Jiang, Tingnan Zhang+5 more|arXiv (Cornell University)|Jan 15, 2021

Reinforcement Learning in Robotics参考文献 44被引用数 11

ひとこと要約

SimGANは、実世界の軌道分布に一致するハイブリッド物理シミュレータを特定するための敵対的強化学習フレームワークを提案する。GANベースの損失を学習することで、手動による損失設計を排除し、シミュレーションから現実への政策移行を向上させる。わずか50本のターゲット軌道を用いても、6つのロボット歩行タスクで強力なベースラインを上回り、高い政策パフォーマンスを達成する。

ABSTRACT

As learning-based approaches progress towards automating robot controllers design, transferring learned policies to new domains with different dynamics (e.g. sim-to-real transfer) still demands manual effort. This paper introduces SimGAN, a framework to tackle domain adaptation by identifying a hybrid physics simulator to match the simulated trajectories to the ones from the target domain, using a learned discriminative loss to address the limitations associated with manual loss design. Our hybrid simulator combines neural networks and traditional physics simulation to balance expressiveness and generalizability, and alleviates the need for a carefully selected parameter set in System ID. Once the hybrid simulator is identified via adversarial reinforcement learning, it can be used to refine policies for the target domain, without the need to interleave data collection and policy refinement. We show that our approach outperforms multiple strong baselines on six robotic locomotion tasks for domain adaptation.

研究の動機と目的

• シミュレーションと現実世界のダイナミクスの間のドメインシフトが政策パフォーマンスを妨げるという、シミュレーションから現実への政策移行の課題に対処すること。
• シミュレートされた軌道と現実の軌道の間の類似性損失の手動設計の必要性を排除すること。これはしばしばヒューリスティック的で現実的でないことがある。
• 微分可能なニューラルネットワークと古典的物理モデルを組み合わせたハイブリッドシミュレータを特定することで、一般化を損なわず表現力を高めることで、シミュレーションの正確性を向上させること。
• 限られた現実世界データから一度だけシミュレータを学習することで、反復的なデータ収集や政策の最適化ループを回避し、効率的なドメイン適応を可能にすること。
• 報酬関数が変化しても、複数のモータスキルと環境にわたる学習済みシミュレータの一般化を示すこと。

提案手法

• GANの識別器が現実世界の軌道とシミュレートされた軌道を区別するように、シミュレーション同定を敵対的強化学習問題として定式化する。
• GANから得られる学習済みの識別的損失を用いて、ペアの軌道やヒューリスティックな距離メトリクスの必要性を回避する、軌道分布に対する弱い教師信号を提供する。
• 未モデル化されたダイナミクスをモデル化するために、固定されたシミュレーションパラメータの代わりに、状態と行動に依存する微分可能なニューラルネットワーク関数を組み込んだハイブリッドシミュレータを構築する。
• ポリシー勾配法を用いてシミュレータパラメータを最適化し、パラメータ関数を、軌道の現実性を最大化するRLエージェントとして扱う。
• 行動ポリシーの現実世界の軌道を一度だけ用いてシミュレータを学習し、その後、追加のデータ収集を経ずに、新しいタスク用のポリシーを最適化するために再利用する。
• 特に挑戦的な環境において、シミュレーションの正確性を向上させるために、シミュレータ学習中に適応的アライブボーナスを適用する。

実験結果

リサーチクエスチョン

• RQ1 学習済みのGANベースの損失は、ドメイン適応において、シミュレートされた軌道と現実の軌道を一致させるために、手作業で設計された類似性メトリクスに効果的に代わることができるか？
• RQ2 微分可能で状態と行動に依存するパラメータを備えたハイブリッドシミュレータは、固定パラメータの物理モデルを上回るシミュレーションの正確性を実現できるか？
• RQ3 シミュレータの敵対的RL訓練は、現実世界データ収集を最小限に抑えて、強力なポリシー移行を可能にするか？
• RQ4 一度学習したシミュレータは、ターゲットドメインで複数の異なるモータスキルの最適化をサポートできるか？
• RQ5 シミュレータ同定に使用する現実世界の軌道の質と量に、この手法はどれほど感受性を示すか？

主な発見

• SimGANは、Hopper/HeavyおよびLaikago/Deformを含む6つのロボット歩行タスクで強力なベースラインを上回り、優れたドメイン適応パフォーマンスを示した。
• わずか50本の現実世界の軌道を用いても、Hopper/Heavy環境では平均タスク報酬が1686に達し、Laikago/Deform環境では2561に達する。これは、データ予算が低い場合でもパフォーマンス劣化が最小限に抑えられていることを示している。
• 適応的アライブボーナスをシミュレータ学習中に使用することで、Hopper/Heavy環境におけるポリシーのパフォーマンスが著しく向上し、平均報酬が1186から1658に上昇した。
• 同じ学習済みハイブリッドシミュレータは、Laikagoロボットで横方向に歩行するポリシーの訓練にも成功しており、異なるモータスキルへの強力な一般化を示している。
• アルゴリズムの追加イテレーションはパフォーマンスを向上させず、現在のハイブリッドシミュレータに解析的物理の事前知識が組み込まれているため、分布シフトに対してすでに堅牢であると考えられる。
• 物理的制約なしに接触力を直接学習すると、エネルギーを注入する架空の力が生じ、結果としてパフォーマンスが著しく低下した。これは、学習されたコンponentsにおける物理的一貫性の重要性を強調している。