[論文レビュー] Residual Reinforcement Learning from Demonstrations

Minttu Alakuijala, Gabriel Dulac-Arnold+3 more|arXiv (Cornell University)|Jun 15, 2021

Robot Manipulation and Learning参考文献 27被引用数 11

ひとこと要約

本論文では、視覚的制御方策を画像、プロピrioception、スパarsity報酬から学習するためのデータ効率的な手法である、残差強化学習の示唆的学習（RRLfD）を提案する。行動クラッシフィケーションと残差強化学習を組み合わせることで、手作業で設計されたベース制御則の代わりに、示範データから学習した方策を用いることで、高次元のロボット操作タスクにおいて優れた汎化性能とデータ効率性を達成する。この手法により、通常の強化学習から直接学習するのでは到達不可能なタスクを解けるようになった。

ABSTRACT

Residual reinforcement learning (RL) has been proposed as a way to solve challenging robotic tasks by adapting control actions from a conventional feedback controller to maximize a reward signal. We extend the residual formulation to learn from visual inputs and sparse rewards using demonstrations. Learning from images, proprioceptive inputs and a sparse task-completion reward relaxes the requirement of accessing full state features, such as object and target positions. In addition, replacing the base controller with a policy learned from demonstrations removes the dependency on a hand-engineered controller in favour of a dataset of demonstrations, which can be provided by non-experts. Our experimental evaluation on simulated manipulation tasks on a 6-DoF UR5 arm and a 28-DoF dexterous hand demonstrates that residual RL from demonstrations is able to generalize to unseen environment conditions more flexibly than either behavioral cloning or RL fine-tuning, and is capable of solving high-dimensional, sparse-reward tasks out of reach for RL from scratch.

研究の動機と目的

• 高次元の制御タスクにおいて報酬がスパarsityな状況で、強化学習のデータ非効率性という課題に取り組むこと。
• 手作業で設計されたベース制御則に依存しないように、それを示範データから学習した方策に置き換えること。
• 画像空間における行動クラッシフィケーションと残差強化学習を組み合わせることで、ロボット操作における汎化性能とデータ効率性を向上させること。
• 完全な状態推定や密度の高い報酬形状を必要とせず、生の視覚的およびプロピrioceptive入力を用いて学習すること。
• 残差強化学習に示範ベースのベース方策を用いることで、未確認の環境条件において、行動クラッシフィケーションや強化学習の微調整よりも優れた汎化性能を示すかを実証すること。

提案手法

• 示範軌道からの画像およびプロピrioceptive観測を用いて、行動クラッシフィケーションによりベース方策を学習し、タスク関連の視覚的特徴をエンドツーエンドで学習する。
• ベース方策の出力をもとに作用する残差方策を用い、スパarsity報酬を用いた強化学習により、その行動を補正する学習を行う。
• 行動クラッシフィケーション方策と残差強化学習方策の間で、視覚的特徴エンコーダーを共有することで、特徴の転送とデータ効率性を実現する。
• 標準的なディープ強化学習アルゴリズム（例：SAC、DMPO）を用いて、スパarsity報酬上で残差方策を学習し、残差学習中はベース方策を固定する。
• 最終的な行動が、ベース方策の行動と残差方策の補正の和として与えられる、残差制御定式化を採用する。
• 示範データを模倣学習に加え、視覚的表現の事前学習にも活用することで、強化学習における探索の必要性を低減する。

実験結果

リサーチクエスチョン

• RQ1 示範データから学習した残差強化学習方策は、行動クラッシフィケーションや強化学習の微調整に比べ、未確認の環境条件においてより優れた汎化性能を示せるか？
• RQ2 手作業で設計されたベース制御則を、行動クラッシフィケーションで学習した方策に置き換えることで、画像ベースで報酬がスパarsityなロボット制御において、データ効率性が向上するか？
• RQ3 示範データ上で行動クラッシフィケーションにより学習された視覚的特徴が、残差強化学習方策と効果的に共有され、学習の加速に寄与するか？
• RQ4 残差強化学習による示範データからの学習は、強化学習から直接学習するのでは不可能な高次元で報酬がスパarsityな操作タスクをどの程度解けるか？
• RQ5 直接BC方策を強化学習で微調整するのと比較して、残差定式化は、深刻な忘却（catastrophic forgetting）の緩和に寄与するか？

主な発見

• RRLfDは、6-DoFのUR5アームや28-DoFのデキストラスハンドを用いた、Pick、Bowl、Pushなどの高次元で報酬がスパarsityな操作タスクを、通常の強化学習から直接学習するのでは訓練予算内に到達できないタスクをも成功に解ける。
• 行動クラッシフィケーションや強化学習の微調整よりも、未確認の環境条件に対してより柔軟に汎化でき、優れた耐性を示した。
• 示範データや密度の高い報酬なしに画像のみから学習すると、成功する方策が得られず、データ効率性の観点から示範データの必要性が明確になった。
• 完全な状態入力を用いることで、一部のタスク（例：Push、Pen）では成功確率が向上したが、RRLfDは視覚的およびプロピrioceptive入力のみで強力な性能を達成した。
• 残差定式化により、強化学習から直接学習する場合と比較して、学習のサンプル複雑性が顕著に低下し、報酬がスパarsityで長時間にわたるタスクの学習が可能になった。
• スパarsity報酬設定でも、密度の高い報酬設定でも、ベースラインを上回る性能を示し、スパarsityタスク完了報酬を密度の高い報酬に追加することで、成功確率が向上した。