[論文レビュー] PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning

Angelos Filos, Clare Lyle+4 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics参考文献 88被引用数 5

ひとこと要約

本稿では、報酬や目的が不明な複数のエージェントからのラベルなしデモンストレーションを、後続特徴量と逆時系列差分学習（ITD）を用いて活用する、新しい強化学習フレームワークであるPsiPhi-Learningを提案する。この手法は、共有される環境的ダイナミクスとエージェント固有の好みを分離し、より高速でサンプル効率の良い学習と、新しいタスクへのゼロショット転移を可能にするとともに、理論的性能保証とベースライン手法に対する実験的優位性を示す。

ABSTRACT

We study reinforcement learning (RL) with no-reward demonstrations, a setting in which an RL agent has access to additional data from the interaction of other agents with the same environment. However, it has no access to the rewards or goals of these agents, and their objectives and levels of expertise may vary widely. These assumptions are common in multi-agent settings, such as autonomous driving. To effectively use this data, we turn to the framework of successor features. This allows us to disentangle shared features and dynamics of the environment from agent-specific rewards and policies. We propose a multi-task inverse reinforcement learning (IRL) algorithm, called \emph{inverse temporal difference learning} (ITD), that learns shared state features, alongside per-agent successor features and preference vectors, purely from demonstrations without reward labels. We further show how to seamlessly integrate ITD with learning from online environment interactions, arriving at a novel algorithm for reinforcement learning with demonstrations, called $ΨΦ$-learning (pronounced `Sci-Fi'). We provide empirical evidence for the effectiveness of $ΨΦ$-learning as a method for improving RL, IRL, imitation, and few-shot transfer, and derive worst-case bounds for its performance in zero-shot transfer to new tasks.

研究の動機と目的

• 報酬が観測不能で目的が不明な状況において、複数エージェントのデモンストレーションを有効に活用する課題に対処すること。
• 後続特徴量を用いて、共有される環境的ダイナミクスとエージェント固有の方針・好みを分離すること。
• オフライン逆強化学習とオンライン強化学習を統合する包括的フレームワークを構築し、サンプル効率を向上させること。
• 共有特徴とタスク固有の好みの分離表現を活用して、新しいタスクへのゼロショット適応を可能にすること。
• 提案フレームワークにおけるゼロショット転移の理論的最悪ケース性能バウンドを提供すること。

提案手法

• 報酬の監督なしに、ラベルなしの軌道から、各デモンストレーターの後続特徴量と好みベクトルを推定する逆時系列差分（ITD）学習を提案する。
• マルチタスク逆強化学習の定式化を用いて、同時に共有累積量（環境特徴）、エージェントごとの後続特徴量、好みベクトルをデモンストレーションから学習する。
• 一般化方策改善（GPI）を用いて、エゴエージェントの方針と推定されたデモンストレーター方針を統合し、オンライン強化学習のための改善済み経験を生成する。
• ITDをオンライン強化学習と統合するハイブリッドトレーニング方式を採用し、デモンストレーションとオンライン環境相互作用の両方を活用する。
• 後続特徴量を用いて、共有特徴を固定したままタスク固有の好みベクトルのみを更新することで、ゼロショット転移を実現する。
• 普遍的な後続特徴量近似器を用いて、パラメータ数が線形に増加することなく多数のデモンストレーターに対応可能にする。

実験結果

リサーチクエスチョン

• RQ1 報酬ラベルなしのデモンストレーションから、共有される環境的表現とエージェント固有の方針を学習可能か？
• RQ2 デモンストレーターの目的が不明で、かつ互いに不一致している状況において、マルチタスクデモンストレーションをオンライン強化学習に効果的に統合できるか？
• RQ3 後続特徴量は、トレーニング時に見られなかった新しいタスクへのゼロショット転移を可能にするか？
• RQ4 この設定におけるゼロショット転移に対して、どのような理論的性能保証を提供できるか？
• RQ5 標準的イミタション学習および強化学習ベースラインと比較して、本手法はサンプル効率および最終的性能においてどのように優れているか？

主な発見

• ITD学習は、報酬ラベルなしでも、先行するIRL手法と同等または優れた性能を達成する。
• PsiPhi-Learningは、デモンストレーターの目的が学習タスクと部分的に一致する場合に、学習を顕著に加速し、標準的RLに比べてサンプル効率が優れている。
• デモンストレーションが役に立たないか誤解を招く場合でも、性能の崩壊を示すナーヴィなイミタション手法とは異なり、滑らかに標準的RLに退化する。
• ゼロショット転移は、好みベクトルのみを更新することで実現可能であり、実験結果から新しい目的に対する有効な方針適応が確認された。
• 理論的最悪ケース性能バウンドが導出され、ゼロショット転移状況においても、有界な非最適性を維持することが示された。
• グリッドワールドおよび交通シミュレーション環境における実験的評価により、サンプル効率の向上、収束の高速化、無関係または矛盾するデモンストレーションに対するロバストネスが実証された。