[論文レビュー] Dynamic Experience Replay

Jieliang Luo, Hui Li|arXiv (Cornell University)|Mar 4, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 9

ひとこと要約

本論文では、強化学習エージェントが訓練中に生成した成功した遷移を、人間のデモに加えて動的に統合することで、オフポリシー強化学習を向上させるDynamic Experience Replay (DER) を導入する。DER は、サンプル効率と学習速度を顕著に向上させ、ピッグインホールやラップジョイントといった複雑なロボットアセンブリタスクにおいて、通常のApe-X DDPGが失敗するか、はるかに遅く学習する問題を成功裏に解決する。

ABSTRACT

We present a novel technique called Dynamic Experience Replay (DER) that allows Reinforcement Learning (RL) algorithms to use experience replay samples not only from human demonstrations but also successful transitions generated by RL agents during training and therefore improve training efficiency. It can be combined with an arbitrary off-policy RL algorithm, such as DDPG or DQN, and their distributed versions. We build upon Ape-X DDPG and demonstrate our approach on robotic tight-fitting joint assembly tasks, based on force/torque and Cartesian pose observations. In particular, we run experiments on two different tasks: peg-in-hole and lap-joint. In each case, we compare different replay buffer structures and how DER affects them. Our ablation studies show that Dynamic Experience Replay is a crucial ingredient that either largely shortens the training time in these challenging environments or solves the tasks that the vanilla Ape-X DDPG cannot solve. We also show that our policies learned purely in simulation can be deployed successfully on the real robot. The video presenting our experiments is available at https://sites.google.com/site/dynamicexperiencereplay

研究の動機と目的

• 接触力が関与する高精度ロボットアセンブリタスクにおけるモデルフリー強化学習のデータ非効率性を解消すること。
• 人間のデモが限られているか不十分な、接触が豊富な環境においても、学習効率を向上させること。
• 訓練中に生成された成功した軌道を動的に再利用することで、静的でない人間のデモを超えたサンプル効率の高い学習を可能にすること。
• シミュレーション内でのみ訓練されたポリシーを、現実のロボットハードウェアに実際にデプロイ可能であることを示すこと。
• ロボットアセンブリタスクにおける異なるリプレイバッファ設定とタスクの複雑さの下で、DER の影響を評価すること。

提案手法

• 訓練中に強化学習エージェントが生成した成功した遷移を動的に統合することで、リプレイバッファを拡張するDynamic Experience Replay (DER) を導入する。
• 優先順位付きリプレイを備えたオフポリシー深層強化学習アルゴリズムであるApe-X DDPGと組み合わせ、スケーラブルかつ分散可能な学習を実現する。
• クラスの不均衡を是正するため、リプレイバッファに過小に表現されている成功遷移を過剰にサンプリングする動的サンプリング戦略を採用し、教師あり学習におけるデータオーグメンテーションに類似したアプローチを取る。
• 状態入力として力・トルクおよびキャリブレーション済みの直行座標系ポーズを統合し、不正確なロボット動的モデルを回避するため、6自由度の直行座標系速度を出力する。
• 固定サイズ（200万遷移）のリプレイバッファを維持し、そのうち1％（2万遷移）を人間のデモに、残りをエージェントが生成した遷移に割り当てる。
• alpha = 0.5 で優先順位付きリプレイを適用し、学習の安定化を図るために、切り捨てられたエピソードサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 人間のデモが限られている接触が豊富なロボットアセンブリタスクにおいて、DER は学習効率を向上させることができるか？
• RQ2 ピッグインホールおよびラップジョイントタスクにおいて、DER は通常のApe-X DDPGと比較して収束速度と最終的な成功確率で優れているか？
• RQ3 DER は、標準的なオフポリシー強化学習アルゴリズムが対応できないタスクの学習を可能にするか？
• RQ4 DER を用いてシミュレーション内で訓練されたポリシーは、実際の産業用ロボットに成功裏にデプロイ可能か？
• RQ5 異なるリプレイバッファ設定（例：人間デモなし、全バッファに1回ずつショットを配置）が、DER のパフォーマンスに与える影響は何か？

主な発見

• DER は、困難なロボットアセンブリタスクにおける学習時間を顕著に短縮し、ある設定では通常のApe-X DDPGの半分の時間で成功を達成した。
• 人間デモなしの設定において、DER は通常のApe-X DDPGと同等の成功確率を達成したが、ほぼ2倍の速度で学習が進んだため、サンプル効率が向上したことが示された。
• ラップジョイントタスク（公差が1mmで、面取りのない形状）では、4つのバッファ設定のうち2つにおいて、DER が通常のApe-X DDPGより高い成功確率を達成した。
• シミュレーション内でDERを用いて訓練されたポリシーは、KUKA KR60 業務用ロボットアームを用いてラップジョイントタスクで3回中3回の成功を収めた。
• 各バッファが1回ずつショットを保持する設定では、DER はパフォーマンス向上を示さなかったため、バッファ構造とサンプリング戦略に感受性があることが示唆された。
• DER は、ベースラインのApe-X DDPGが与えられた学習時間内に解決できない高精度アセンブリタスクの学習を可能にした。