[論文レビュー] Off-Policy Imitation Learning from Observations

Zhuangdi Zhu, Kaixiang Lin+2 more|arXiv (Cornell University)|Feb 25, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、専門家の行動データが利用できない状況下で、観察から学習（LfO）のためのサンプル効率が高く、オフポリシーで動作する、OPOLOと呼ばれる新手の強化学習手法を提案する。LfO目的関数の上界を導出し、逆行動モデル正則化を組み込むことで、オフポリシー最適化を可能にするとともに、モードカバレッジを促進することで学習を加速し、歩行ベンチマークにおいて、サンプル効率と漸近的性能の両面で最先端の性能を達成した。

ABSTRACT

Learning from Observations (LfO) is a practical reinforcement learning scenario from which many applications can benefit through the reuse of incomplete resources. Compared to conventional imitation learning (IL), LfO is more challenging because of the lack of expert action guidance. In both conventional IL and LfO, distribution matching is at the heart of their foundation. Traditional distribution matching approaches are sample-costly which depend on on-policy transitions for policy learning. Towards sample-efficiency, some off-policy solutions have been proposed, which, however, either lack comprehensive theoretical justifications or depend on the guidance of expert actions. In this work, we propose a sample-efficient LfO approach that enables off-policy optimization in a principled manner. To further accelerate the learning procedure, we regulate the policy update with an inverse action model, which assists distribution matching from the perspective of mode-covering. Extensive empirical results on challenging locomotion tasks indicate that our approach is comparable with state-of-the-art in terms of both sample-efficiency and asymptotic performance.

研究の動機と目的

• 専門家の行動データが入手できない状況下で、学習から観察（LfO）におけるサンプル非効率性の課題に取り組むこと。
• 専門家の行動監督に依存しない理論的裏付けのあるオフポリシー LfO 手法の開発。
• 分布マッチングにおけるモードカバレッジを促進する逆行動モデル正則化を導入することで、LfOにおける学習を加速すること。
• 複雑な歩行タスクにおいて、サンプル効率と漸近的性能の両面で最先端の性能を達成すること。

提案手法

• 専門家の行動を必要としないように、LfO目的関数の上界を導出することで、オフポリシー最適化を可能にする。
• オフポリシーのリプレイバッファを用いて遷移を格納・再利用し、データ効率を向上させる。
• 多様な専門家行動をカバーするよう促進するため、逆行動モデル正則化を導入する。
• 決定論的環境の仮定の下で、逆モデルを学習することで正則化を実装する。
• SAC や TD3 などのオフポリシー深層強化学習アルゴリズムを用いて、統合目的関数を最適化する。
• f-発散に基づく分布マッチングを用い、f-関数の柔軟な族を活用する。特に、安定性を考慮して q=p=2 を選択する。

実験結果

リサーチクエスチョン

• RQ1 専門家の行動データが存在しない状況下でも、オフポリシーの模倣学習をサンプル効率よく実現できるか？
• RQ2 オンポリシーのデータや専門家の行動監督に依存せずに、LfOにおける分布マッチングをどのように最適化できるか？
• RQ3 逆行動モデル正則化が、LfOにおける学習速度と分布カバレッジに与える影響は何か？
• RQ4 原理的かつ一貫性のあるオフポリシー LfO 手法は、サンプル効率と漸近的報酬の両面で最先端の性能を達成できるか？

主な発見

• OPOLO は、評価されたすべての歩行タスクにおいて、サンプル効率と漸近的性能の両面で最先端の性能を達成しており、既存のオフポリシーおよびオンポリシーのベースラインを上回っている。
• アブレーションスタディの結果、逆行動正則化を除去すると、特に HalfCheetah や Ant のような困難な環境では、サンプル効率がわずかに低下することがわかった。
• 逆行動モデル正則化は、主目的関数のモード探索行動を補完する形で、モードカバレッジを促進することで学習を著しく加速する。
• さまざまな f-発散関数に対して OPOLO の性能は安定しており、特に q=p=2 が最も安定的かつ一貫性のある結果をもたらした。
• 逆正則化を含まない OPOLO-x は、OPOLO や DAC と同等の漸近的性能を達成しており、主目的関数のみで専門家水準の性能が達成可能であることを示している。