[論文レビュー] Apprenticeship Learning using Inverse Reinforcement Learning and Gradient Methods

Gergely Neu, Csaba Szepesvári|arXiv (Cornell University)|Jun 20, 2012

Reinforcement Learning in Robotics参考文献 10被引用数 156

ひとこと要約

本稿では、部分微分と自然勾配を用いて滑らかでないおよび冗長な方策写像を扱う勾配ベースの新規アルゴリズムを提案する。2つの人工的環境において、従来の手法よりも信頼性が高く効率的な専門家行動の模倣を達成する。

ABSTRACT

In this paper we propose a novel gradient algorithm to learn a policy from an expert's observed behavior assuming that the expert behaves optimally with respect to some unknown reward function of a Markovian Decision Problem. The algorithm's aim is to find a reward function such that the resulting optimal policy matches well the expert's observed behavior. The main difficulty is that the mapping from the parameters to policies is both nonsmooth and highly redundant. Resorting to subdifferentials solves the first difficulty, while the second one is over- come by computing natural gradients. We tested the proposed method in two artificial domains and found it to be more reliable and efficient than some previous methods.

研究の動機と目的

• 専門家の行動記録から基礎となる報酬関数を推定することで方策を学習すること。
• 逆強化学習における報酬パラメータから方策への滑らかでないおよび冗長な写像を解消すること。
• 従来の手法と比較して、職人学習の信頼性と効率性を向上させること。
• 政策パrameter空間における安定な最適化のために、部分微分と自然勾配を活用すること。
• 既知の最適行動を示す制御された環境で手法を検証すること。

提案手法

• 専門家の軌道から報酬関数を推定するために逆強化学習を用いる。
• 報酬パラメータに対する方策の滑らかでない依存性を扱うために部分微分を適用する。
• パrameter空間内の冗長性を低減し収束性を向上させるために自然勾配法を採用する。
• 得られた最適方策が専門家の行動と一致するように報酬関数を最適化する。
• 推定された報酬関数における専門家行動記録の尤度を最大化する勾配上昇の枠組みを用いる。
• 政策評価と勾配更新による報酬関数の反復的改善を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 方策写像が滑らかでない場合、専門家の行動記録から報酬関数を効果的に学習するにはどうすればよいか？
• RQ2 方策パラメータ化に高い冗長性が存在する状況で、学習を安定化する最適化技術とは何か？
• RQ3 標準的勾配手法と比較して、自然勾配法は逆強化学習における収束性と信頼性を向上させ得るか？
• RQ4 提案手法は、既存の逆強化学習アルゴリズムと比較して、性能と安定性においてどのように差をつけるか？
• RQ5 どのような環境で、この手法は堅牢性と効率性を示すか？

主な発見

• 2つの人工的ドメインにおいて、本手法は従来の手法よりも信頼性が高く効率的な専門家行動の模倣を達成した。
• 部分微分の使用により、滑らかでない方策写像に対しても安定した最適化が可能になった。
• 自然勾配更新によりパrameter空間内の冗長性が低減し、収束が速くなった。
• アルゴリズムは、専門家の行動と密接に一致する方策を生成する報酬関数を効果的に推定できた。
• 実験的結果から、ベースライン手法と比較して収束速度と安定性の両面で性能が向上した。
• 複雑な最適行動構造を示す環境においても、本手法は堅牢性を示した。