[論文レビュー] On the Performance of Maximum Likelihood Inverse Reinforcement Learning

Héctor Ratia, Luis Montesano+1 more|arXiv (Cornell University)|Feb 7, 2012

Reinforcement Learning in Robotics参考文献 30被引用数 3

ひとこと要約

この論文は、習得学習設定における最大尤度逆強化学習（IRL）を、標準的なIRL手法と比較し、方策類似性および累積報酬の両面で一貫して優れた性能を示している。本手法は勾配ベース最適化を用いた確率的推論フレームワークを採用しており、効率的な勾配近似により、著しく低い計算コストでほぼ同等の性能を達成している。

ABSTRACT

Inverse reinforcement learning (IRL) addresses the problem of recovering a task description given a demonstration of the optimal policy used to solve such a task. The optimal policy is usually provided by an expert or teacher, making IRL specially suitable for the problem of apprenticeship learning. The task description is encoded in the form of a reward function of a Markov decision process (MDP). Several algorithms have been proposed to find the reward function corresponding to a set of demonstrations. One of the algorithms that has provided best results in different applications is a gradient method to optimize a policy squared error criterion. On a parallel line of research, other authors have presented recently a gradient approximation of the maximum likelihood estimate of the reward signal. In general, both approaches approximate the gradient estimate and the criteria at different stages to make the algorithm tractable and efficient. In this work, we provide a detailed description of the different methods to highlight differences in terms of reward estimation, policy similarity and computational costs. We also provide experimental results to evaluate the differences in performance of the methods.

研究の動機と目的

• 習得学習設定における最大尤度IRLと標準的なIRLアルゴリズムの性能を比較すること。
• IRLにおける勾配計算の計算効率と推定精度のトレードオフを分析すること。
• 小さな報酬変化が方策にほとんど影響しないという仮定に基づく勾配近似手法の有効性を評価すること。
• 異なるIRL手法が未観測状態にどの程度一般化できるか、および専門家の方策とどれほど類似性を保っているかを評価すること。
• 最大尤度IRLが方策マッチング手法と比較して、よりロバストでコンactな報酬関数表現を提供するかどうかを特定すること。

提案手法

• 専門家の方策を確率的観測とみなして、専門家の行動から報酬関数を推定する最大尤度推定フレームワークを採用する。
• 学習済み方策における専門家の行動の負の対数尤度を最小化する勾配ベース最適化を用いる。
• 小さな報酬摂動が小さな方策変化をもたらすと仮定することで、固定点方程式の解法を回避する計算効率の良い勾配近似を導入する。
• 近似により、1イテレーションあたりの計算コストを指数的から多項式時間に削減しつつ、解の品質を維持する。
• 正確な勾配と近似勾配の両方を用いて、GIRL、MWAL、PMの3つのIRLベースラインと比較する。
• 2つの指標（方策類似性（一致する行動の割合）と専門家の報酬関数下での累積報酬）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 方策類似性および累積報酬の観点から、最大尤度IRLは方策マッチング手法や他のIRLベースラインと比べてどの程度優れているか？
• RQ2 正確な勾配の代わりに近似勾配を使用した場合、IRLアルゴリズムの精度と収束性にどのような影響があるか？
• RQ3 勾配近似手法は、著しく計算時間を短縮しつつ、ほぼ最適な性能を達成できるか？
• RQ4 なぜMWALは独立性仮定下では良好な性能を示す一方、一部の設定では著しく劣る性能を示すのか？
• RQ5 最大尤度IRLは未観測状態にどの程度一般化でき、環境変化に対してもロバスト性を保っているか？

主な発見

• スーリング問題において、最大尤度IRLは累積報酬-11.76を達成し、専門家の性能を正確に再現した。
• GIRLおよびPM手法は強く、GIRLはすべての勾配計算バリアントにおいて、方策類似性および報酬蓄積の両面で他を上回った。
• 勾配近似手法により、正確な手法と比較して計算時間を最大80％短縮でき、解の品質の低下はほとんどなかった。
• MWALは固定点および1ステップ再帰設定では劣った性能を示したが、独立性仮定下では比較的良い報酬（-395.45）を達成しており、収束の不安定性が示唆された。
• PMおよびMWAL手法は、風に逆らって航行するような少数の非最適行動により、顕著な報酬損失を被ったが、GIRLおよび最大尤度IRLはこれを回避した。
• 提案された勾配近似は、方策類似性（93％以上）と報酬精度を維持しながら、実行時間を最良ケースで約300秒から40秒未満に短縮した。