[論文レビュー] Maximum Entropy Deep Inverse Reinforcement Learning

Markus Wulfmeier, Peter Ondrúška+1 more|arXiv (Cornell University)|Jul 17, 2015

Reinforcement Learning in Robotics参考文献 26被引用数 286

ひとこと要約

本論文では、完全畝込みニューラルネットワーク（FCNN）を用いて、熟練者のデモから複雑な非線形報酬関数を学習する、Maximum Entropy Deep Inverse Reinforcement Learning（DeepIRL）というフレームワークを提案する。Maximum Entropy IRLの目的関数を活用することで、完全に微分可能なエンドツーエンド学習が可能となり、標準ベンチマークでは最先端の性能を達成するとともに、報酬構造が著しく変動する新しいベンチマークにおいても、先行手法を著しく上回る性能を発揮する。また、デモ数に依存しない計算効率を維持する。

ABSTRACT

This paper presents a general framework for exploiting the representational capacity of neural networks to approximate complex, nonlinear reward functions in the context of solving the inverse reinforcement learning (IRL) problem. We show in this context that the Maximum Entropy paradigm for IRL lends itself naturally to the efficient training of deep architectures. At test time, the approach leads to a computational complexity independent of the number of demonstrations, which makes it especially well-suited for applications in life-long learning scenarios. Our approach achieves performance commensurate to the state-of-the-art on existing benchmarks while exceeding on an alternative benchmark based on highly varying reward structures. Finally, we extend the basic architecture - which is equivalent to a simplified subclass of Fully Convolutional Neural Networks (FCNNs) with width one - to include larger convolutions in order to eliminate dependency on precomputed spatial features and work on raw input representations.

研究の動機と目的

• 逆強化学習における線形およびカーネルベースの報酬関数近似の限界を克服し、非線形で一般化可能な関数学習を可能にすること。
• デモ数に依存しない計算複雑性を保証することで、生涯学習のシナリオにおける効率的な推論を実現すること。
• 手作業で設計された空間的特徴量に依存することを排除し、広い畝込みフィルタを用いてRaw入力からタスクに適した表現を直接学習すること。
• Maximum Entropy IRLフレームワークを深層ニューラルネットワークに拡張し、完全に微分可能なエンドツーエンド学習とスケーラビリティを実現すること。
• 従来の手法が失敗または性能を発揮できない、複雑で著しく変動する報酬構造において、優れた性能を示すこと。

提案手法

• Maximum Entropy IRLの目的関数を深層ニューラルネットワークに適応させ、エンドツーエンド学習に適した完全に微分可能な損失関数を導出する。
• 空間的構造を保持するため、幅1のアーキテクチャを用いた完全畝込みニューラルネットワーク（FCNN）を採用し、報酬関数を空間マップとしてモデル化する。
• 基本的なFCNNを拡張し、より広い畝込みフィルタを導入することで、事前計算された特徴量に依存せずにRaw入力から空間的特徴量を直接学習可能にする。
• 完全畝込みアーキテクチャを用いて、入力と同じ空間次元の密集した報酬マップを出力し、密集予測タスクをサポートする。
• 熟練者のデモを用いてネットワークを学習し、推定された報酬関数の下で観測された軌道の尤度を最適化する。
• ネットワーク全体にバックプロパゲーションを適用することで、特徴抽出と報酬予測を同時に最適化し、統合的エンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、計算効率を維持したまま、逆強化学習における複雑で非線形な報酬関数を効果的に近似できるか？
• RQ2 完全に微分可能な目的関数のおかげで、Maximum Entropy IRLフレームワークは深層アーキテクチャの学習を自然にサポートするか？
• RQ3 Raw入力からのエンドツーエンド学習によって、手作業で設計された空間的特徴量の必要性を排除しても性能に影響を及げないか？
• RQ4 報酬構造の複雑さが増すに従って、最先端のアプローチと比較して、本手法はどのようにスケーリングするか？
• RQ5 デモ数が増加する生涯学習の設定において、本モデルは効果的に一般化できるか？

主な発見

• 提案されたDeepIRLフレームワークは、Objectworld や Binaryworld といった標準的なIRLベンチマークにおいて、最先端の手法と同等の性能を達成する。
• 報酬構造が著しく変動する新しいベンチマークにおいて、DeepIRLは既存の手法を著しく上回り、複雑な特徴量相互作用のモデリングにおいて優れた性能を示す。
• デモ数にかかわらず、推論の計算複雑性が一定を保つため、ロボット工学における生涯学習に極めて適している。
• Raw入力に広い畝込みフィルタを用いることで、モデルはエンドツーエンドで空間的特徴量を学習し、最適に設計された特徴量を用いた場合と同等の性能に収束する。
• Raw入力と広いフィルタを用いる場合、より多くの学習データを必要とするが、熟練者のデモが増えるにつれて性能が向上し、事前定義された特徴量を用いた場合に近づく。
• このフレームワークは非常に柔軟で、さまざまなFCNNアーキテクチャの使用が可能であり、将来的には自己符号化器の事前学習などの技術との統合によって、サンプル効率の向上が可能になる。