[論文レビュー] Mutual Alignment Transfer Learning

Markus Wulfmeier, Ingmar Posner+1 more|arXiv (Cornell University)|Jul 25, 2017

Reinforcement Learning in Robotics参考文献 28被引用数 19

ひとこと要約

本稿では、シミュレーションと現実世界のエージェントを同時に学習させ、状態訪問分布を一致させるために敵対的補助報酬を用いることで、実ロボットにおける強化学習の速度を向上させる相互整合性転移学習（MATL）を提案する。この手法は、報酬がスパarsな状況やダイナミクスの差異が大きい状況でも、直接的転送や微調整を上回るサンプル効率を実現し、特にシミュレーション方策が過学習している場合やダイナミクスの差が顕著な場合に顕著である。

ABSTRACT

Training robots for operation in the real world is a complex, time consuming and potentially expensive task. Despite significant success of reinforcement learning in games and simulations, research in real robot applications has not been able to match similar progress. While sample complexity can be reduced by training policies in simulation, such policies can perform sub-optimally on the real platform given imperfect calibration of model dynamics. We present an approach -- supplemental to fine tuning on the real robot -- to further benefit from parallel access to a simulator during training and reduce sample requirements on the real robot. The developed approach harnesses auxiliary rewards to guide the exploration for the real world agent based on the proficiency of the agent in simulation and vice versa. In this context, we demonstrate empirically that the reciprocal alignment for both agents provides further benefit as the agent in simulation can adjust to optimize its behaviour for states commonly visited by the real-world agent.

研究の動機と目的

• 実世界のロボット方策を学習する際の高いサンプル複雑性の課題に対処すること。これは、遅く高価な実世界の相互作用に起因する。
• シミュレーションと現実世界のダイナミクスに顕著な差異がある場合に、直接的方策転送や微調整の限界を克服すること。
• 標準的なRLが効果的に探索できない、報酬がスパarsな環境におけるサンプル効率の向上。
• 未知のダイナミクス差異を伴う異なるシミュレーションエンジン間での安定的かつ効果的な転送を可能にすること。
• 両方のエージェントが互いに状態分布を一致させることで、お互いに利益をもたらす方法の開発。

提案手法

• シミュレーションと現実世界のエージェントを並列に学習させ、環境報酬と補助的整合性報酬の両方を最適化する。
• 実ロボットとシミュレータからの状態シーケンスを区別するための敵対的ディスクラミネータを用い、両エージェントが識別不能な状態軌道を生成するよう促進する。
• 訓練の安定化と整合性の向上を図るため、Wasserstein GAN（WGAN）に基づく誤り損失を補助報酬として定式化する。
• 学習可能な重みハイパーパramータ λ を用いて、補助的整合性報酬を方策最適化の目的関数に統合する。
• シミュレーション方策が、実世界エージェントにとって有益な状態を訪問することで、実世界の探索を導く一方、実世界エージェントの行動がシミュレーション方策の頑健性を向上させる。
• 微調整の補完としての支援を提供し、実ロボットでの初期化を改善し、収束を迅速化する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションと現実世界のエージェント間で敵対的状態分布を一致させることで、実ロボットRLにおけるサンプル効率が向上するか？
• RQ2 両エージェントが互いの探索を導く相互整合性（mutual alignment）が、一方的な整合性や直接的転送を上回るのか、特にダイナミクス差異が大きい状況で？
• RQ3 環境報酬がスパarsまたは情報が乏しい場合、標準的なRLが効果的に探索できない状況でも、この手法は成功するか？
• RQ4 未知のダイナミクス差異を伴う異なるシミュレーションエンジン間での転送において、MATLはどのように動作するか？
• RQ5 MATLは、実ロボットでの微調整性能を低下させるシミュレーション方策の過学習の悪影響を軽減するか？

主な発見

• MATLは、報酬がスパarsまたは情報が乏しく、標準的なRLが効果的に探索できない環境において、実ロボットでの学習を顕著に加速する。
• MuJoCoからDARTへの異なるシミュレーションエンジン間の転送において、MATLは直接的転送や微調整を上回る。特に、過学習したシミュレーション方策のため微調整がランダム初期化よりも劣る場合でも同様に優れている。
• 相互整合性は、すべての歩行タスクにおいて一貫して性能を向上させ、MATLは単方向整合性（MATLu）や独立学習を上回る最終的な性能を達成する。
• 本手法は、摩擦、減衰、接触モデリングの差異を含む顕著なダイナミクス差異に対しても頑健であり、直接的転送が失敗する状況でも有効である。
• 補助的整合性報酬により、実世界エージェントに環境報酬が提供されない場合でも、効果的な探索が可能になる。
• 敵対的WGANベースの損失形式は訓練を安定化させ、元のGAN損失よりも優れた整合性をもたらし、性能向上に寄与した。