[論文レビュー] Addressing Sample Inefficiency and Reward Bias in Inverse Reinforcement Learning.

Ilya Kostrikov, Kumar Krishna Agrawal+2 more|arXiv (Cornell University)|Sep 9, 2018

Reinforcement Learning in Robotics参考文献 17被引用数 8

ひとこと要約

本論文では、非対称的強化学習とオフポリシー強化学習を用いて、環境との相互作用回数を10倍削減する、新たなIRLアルゴリズムであるDiscriminator-Actor-Criticを提案する。この手法は、タスク固有のチューニングを一切不要とした設計により、報酬関数のバイアスを排除し、多様な環境において、インスティチューションラーニングの効率性と一般化性能を向上させる。

ABSTRACT

We identify two issues with the family of algorithms based on the Adversarial Imitation Learning framework. The first problem is implicit bias present in the reward functions used in these algorithms. While these biases might work well for some environments, they can also lead to sub-optimal behavior in others. Secondly, even though these algorithms can learn from few expert demonstrations, they require a prohibitively large number of interactions with the environment in order to imitate the expert for many real-world applications. In order to address these issues, we propose a new algorithm called Discriminator-Actor-Critic that uses off-policy Reinforcement Learning to reduce policy-environment interaction sample complexity by an average factor of 10. Furthermore, since our reward function is designed to be unbiased, we can apply our algorithm to many problems without making any task-specific adjustments.

研究の動機と目的

• 特定の環境で劣化した行動を引き起こす可能性がある、敵対的インスティチューションラーニング手法に内在する暗黙の報酬バイアスを解消すること。
• 現実世界への展開に耐えうるほどに高すぎる環境との相互作用回数を有する、IRLアルゴリズムの高いサンプル複雑性を低減すること。
• タスク固有の報酬関数の変更を必要とせず、多様なタスクにおいても性能を維持できる汎用的なIRLフレームワークを開発すること。
• オフポリシーRLとバイアスのない報酬関数設計を統合することで、インスティチューションラーニングの効率性とロバスト性を向上させること。

提案手法

• 本アルゴリズムは、オフポリシー強化学習フレームワークを採用することで、ポリシー学習に必要な環境との相互作用回数を著しく削減する。
• 異なる環境やタスクにおいても偏りのない報酬関数を明示的に設計した、ディスクライマーターベースの報酬関数を導入する。
• 価値関数を推定するためのクリティックネットワークを用いることで、オフポリシーのデータ再利用による効率的なポリシー更新を可能にする。
• エキスパートのデモンストレーションを用いて、ディスクライマーターが報酬信号を提供する形で、エンドツーエンドにアクトアーキテクチャを訓練する。タスク固有の設計は不要である。
• 敵対的インスティチューションラーニング手法に一般的に見られる暗黙のバイアスを最小限に抑えるように報酬関数を構築する。
• 全体のフレームワークは、報酬関数の再チューニングなしに、複数の環境で安定した訓練と一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、高いインスティチューション性能を維持しつつ、逆強化学習のサンプル複雑性を低減できるか？
• RQ2 バイアスのない報酬関数は、IRLにおける多様な環境への一般化をどの程度向上できるか？
• RQ3 オフポリシー学習は、IRLに効果的に統合可能か？環境との相互作用回数の要件を低減できるか？
• RQ4 タスク固有の報酬設計を排除することで、IRLポリシーのロバスト性と転送性が向上するか？
• RQ5 既存の敵対的IRLアプローチと比較して、提案手法はサンプル効率性と性能安定性の面でどの程度優れているか？

主な発見

• 提案手法は、ベースラインのIRL手法と比較して、インスティチューションに必要な環境との相互作用回数を平均10倍削減した。
• 報酬関数の設計により、暗黙のバイアスが効果的に排除され、タスク固有の調整なしに幅広い環境で効果的な性能を発揮した。
• 限られたエキスパートデモンストレーションでも、安定した訓練と高いインスティチューション性能を達成した。
• オフポリシー学習により、相互作用データの再利用が効率的に行われ、サンプル効率が著しく向上した。
• バイアスのない報酬関数と強固なポリシー訓練のおかげで、未観測の環境に対しても良好な一般化性能を示した。
• 報酬関数やハイパーパrameterの変更なしに、多様なタスクで強力な性能を維持した。