[論文レビュー] Ranking-Based Reward Extrapolation without Rankings.

Daniel S. Brown, Wonjoon Goo+1 more|arXiv (Cornell University)|Jul 9, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 4

ひとこと要約

この論文は、行動的にクラーブされた方策にノイズを注入することで合成順位を生成する、順位ベースの模倣学習手法D-REXを提案する。人為的な順位や報酬が不要であるにもかかわらず、模範者を上回る性能を達成できる。D-REXは、MuJoCoおよびAtariベンチマークで最先端の性能を達成し、模範者の能力を超えて自動的に外挿する。

ABSTRACT

The performance of imitation learning is typically upper-bounded by the performance of the demonstrator. Recent empirical results show that imitation learning via ranked demonstrations allows for better-than-demonstrator performance; however, ranked demonstrations may be difficult to obtain, and little is known theoretically about when such methods can be expected to outperform the demonstrator. To address these issues, we first contribute a sufficient condition for when better-than-demonstrator performance is possible and discuss why ranked demonstrations can contribute to better-than-demonstrator performance. Building on this theory, we then introduce Disturbance-based Reward Extrapolation (D-REX), a ranking-based imitation learning method that injects noise into a policy learned through behavioral cloning to automatically generate ranked demonstrations. By generating rankings automatically, ranking-based imitation learning can be applied in traditional imitation learning settings where only unlabeled demonstrations are available. We empirically validate our approach on standard MuJoCo and Atari benchmarks and show that D-REX can utilize automatic rankings to significantly surpass the performance of the demonstrator and outperform standard imitation learning approaches. D-REX is the first imitation learning approach to achieve significant extrapolation beyond the demonstrator's performance without additional side-information or supervision, such as rewards or human preferences.

研究の動機と目的

• 模倣学習が模範者を上回る性能を達成できる理論的条件を特定すること。
• 現実世界の模倣学習設定において順位付きの示範を取得する実用的課題に対処すること。
• ラベルなしの示範のみを用いて、模範者を上回る性能を達成する手法を開発すること。
• 自動的に生成された順位が、標準的な模倣学習環境における報酬の外挿を効果的に支援できるかどうかを検証すること。

提案手法

• D-REXは、ラベルなしの示範に基づいて行動クラッキング方策を学習し、ベース方策として用いる。
• 制御されたノイズを用いて行動クラッキング方策を摂動させることで、比較可能な多様な軌道を生成し、合成順位を生成する。
• このノイズ誘発軌道を用いて相対的好みの信号を形成し、人為的入力なしに合成順位を効果的に生成する。
• 合成順位を活用する順位ベースの模倣学習目的を適用し、洗練された方策を訓練する。
• 最終的な方策は、合成順位から導出された外挿された報酬信号に基づいて性能を最大化するように訓練される。
• このアプローチは完全に自己教師ありの方法であり、人為的な報酬や好みのアノテーションを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 どのような理論的条件下で模倣学習が模範者を上回る性能を達成できるか？
• RQ2 単一の方策の摂動から生成された合成順位は、模範者を上回る性能を実現できるか？
• RQ3 人為的入力ではなく自動的に生成された順位を用いた場合、順位ベースの模倣学習はどの程度効果的か？
• RQ4 報酬関数や好みの信号にアクセスできない状況でも、D-REXは標準的な模倣学習ベースラインを上回れるか？

主な発見

• D-REXは、ラベルなしの示範のみを用いて、標準的なMuJoCoおよびAtariベンチマークで模範者を著しく上回る性能を達成した。
• この手法は、方策の摂動が多様で情報豊かな軌道比較を生み出す場合に、模範者を上回る性能が達成可能であることを示した。
• 報酬関数や人為的な好みにアクセスできない状況でも、D-REXは標準的な行動クラッキングや他の模倣学習ベースラインを上回った。
• ノイズ注入によって生成された合成順位は、効果的な報酬の外挿と方策改善を支援するのに十分であった。
• 本手法は、追加の監視情報や報酬信号なしに、模範者を著しく上回る性能の外挿を達成した最初の手法である。