[論文レビュー] Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models

Yuchen Wu, Melissa Mozifian+1 more|arXiv (Cornell University)|Nov 2, 2020

Reinforcement Learning in Robotics参考文献 41被引用数 6

ひとこと要約

本論文では、生成モデル（特に正規化フローとGAN）を用いて、不完全なデモから状態および行動に依存するポテンシャルを学習する強化学習の報酬形状化手法を提案する。従来の手法がデモをハード制約として扱うのに対し、本手法はデモをバイアスのない助言として扱うため、最適でないかノイズの多いデモであっても、より高速かつデータ効率の良い学習が可能である。シミュレーションおよび実際のFranka Emika Pandaロボットアームでの実験により、有効性が検証された。

ABSTRACT

The potential benefits of model-free reinforcement learning to real robotics systems are limited by its uninformed exploration that leads to slow convergence, lack of data-efficiency, and unnecessary interactions with the environment. To address these drawbacks we propose a method that combines reinforcement and imitation learning by shaping the reward function with a state-and-action-dependent potential that is trained from demonstration data, using a generative model. We show that this accelerates policy learning by specifying high-value areas of the state and action space that are worth exploring first. Unlike the majority of existing methods that assume optimal demonstrations and incorporate the demonstration data as hard constraints on policy optimization, we instead incorporate demonstration data as advice in the form of a reward shaping potential trained as a generative model of states and actions. In particular, we examine both normalizing flows and Generative Adversarial Networks to represent these potentials. We show that, unlike many existing approaches that incorporate demonstrations as hard constraints, our approach is unbiased even in the case of suboptimal and noisy demonstrations. We present an extensive range of simulations, as well as experiments on the Franka Emika 7DOF arm, to demonstrate the practicality of our method.

研究の動機と目的

• 実ロボットシステムにおけるモデルフリー強化学習の非効率性と収束の遅さを解決すること。
• 最適なデモを仮定し、ポリシー最適化にハード制約を課す従来の手法の限界を克服すること。
• 最適でない、ノイズの多い、またはマルチモーダルなデモからバイアスのないポリシー学習を可能にすること。
• デモを制約ではなく助言として扱う報酬形状化フレームワークを開発すること。
• 7自由度のロボットアームを用いたピン挿入タスクにおいて、実用的な適用性を示すこと。

提案手法

• 本手法は2段階のアプローチを採用する：まず、デモデータ上で生成モデル（正規化フローまたはGAN）をオフラインで学習し、状態および行動に依存するポテンシャル関数Φ(s,a)を学習する。
• 学習されたポテンシャル関数を用いて、スパarsなタスク報酬を形状化し、探索を導く密度の高い情報量豊富な報酬信号を生成する。
• 報酬形状化用ポテンシャルは、最適性を仮定せず、デモにおける状態と行動の同時分布をモデル化することを目的とする。
• オンライン強化学習フェーズでは、TD3を用い、形状化された報酬を使用する。ここでポテンシャル関数が、状態・行動空間の高価値領域へのポリシーの偏りを生じさせる。
• 直接的にデモの行動を強制しないことで、ポリシーにハード制約を課さず、最適解の探索を維持する。
• 本手法は、行動分布のマルチモーダル性を、示された行動の全密度をモデル化することで、滑らかに処理できる。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、不完全なデモを用いて強化学習における報酬形状化を効果的に実行できるか？
• RQ2 学習されたポテンシャルを用いた報酬形状化は、最適でないデモが存在する状況で、行動クラッシングや制約付きの模倣学習を上回るか？
• RQ3 本手法は、高次元のロボット制御タスクにおいて、データ効率性と収束速度の向上を実現できるか？
• RQ4 従来の手法と比較して、ノイズの多いまたはマルチモーダルなデモに対して、本手法はどれほどロバストか？
• RQ5 本手法は、報酬がスパarsな実ロボットシステムに成功裏に適用可能か？

主な発見

• 本手法は、実際のFranka Emika Pandaロボットアームにおいて、約200エピソードでピン挿入を成功させ、標準的なTD3を著しく上回った。
• 提案手法により、ロボットは最短20ステップで密度の高い累積報酬を獲得し、早期の探索とゴール発見が有効に行われた。
• λ-重み付きTD3+BCとは異なり、本手法はRLと模倣学習の目的関数の重みのハイパーパrameterチューニングに対して感受性が低かった。
• GAILでさえ、最適なデモを用いてもピン挿入タスクを解けなかった。これは、報酬がスパarsな状況下で標準的な模倣学習の限界を示している。
• 本手法は、デモに含まれる非最適行動を回避するポリシーを学習でき、真の最適解へのバイアスのない最適化を維持した。
• 最適でないかノイズの多いデモに対しても本手法はロバストであり、忘れスケジュールの必要なしに、デモの影響の手動によるハイパーパrameterチューニングも不要であった。