[論文レビュー] Imitation Learning with a Value-Based Prior

Umar Syed, Robert E. Schapire|arXiv (Cornell University)|Jun 20, 2012

Reinforcement Learning in Robotics参考文献 13被引用数 8

ひとこと要約

本論文は、模範者の行動に関する事前知識をモデル化するための価値ベースの事前分布を提案する。マーカフ連鎖過程（MDP）を用いて模範者の行動をモデル化し、MDPにおける方策価値を事前分布の対数確率として用いる。本手法はベイズフレームワークを用い、方策の事後分布の定常点に効率的に収束させ、従来の手法と比較して、模倣学習におけるサンプル効率を顕著に向上させる。

ABSTRACT

The goal of imitation learning is for an apprentice to learn how to behave in a stochastic environment by observing a mentor demonstrating the correct behavior. Accurate prior knowledge about the correct behavior can reduce the need for demonstrations from the mentor. We present a novel approach to encoding prior knowledge about the correct behavior, where we assume that this prior knowledge takes the form of a Markov Decision Process (MDP) that is used by the apprentice as a rough and imperfect model of the mentor's behavior. Specifically, taking a Bayesian approach, we treat the value of a policy in this modeling MDP as the log prior probability of the policy. In other words, we assume a priori that the mentor's behavior is likely to be a high value policy in the modeling MDP, though quite possibly different from the optimal policy. We describe an efficient algorithm that, given a modeling MDP and a set of demonstrations by a mentor, provably converges to a stationary point of the log posterior of the mentor's policy, where the posterior is computed with respect to the "value based" prior. We also present empirical evidence that this prior does in fact speed learning of the mentor's policy, and is an improvement in our experiments over similar previous methods.

研究の動機と目的

• 模範者の行動に関する事前知識を統合することで、模倣学習に必要な示範回数を削減すること。
• 模範者の行動を近似するマーカフ連鎖過程（MDP）を用いて、価値ベースの事前分布として事前知識をモデル化すること。
• この事前分布の下で、方策の対数事後分布の定常点に収束する効率的なアルゴリズムを開発すること。
• 実験的に、価値ベースの事前分布が学習を加速し、既存手法を上回ることを検証すること。
• 方策価値をモデリングMDP内で用いることを、ベイズ的模倣学習フレームワークにおける方策の事前分布として形式化すること。

提案手法

• 本手法は、不完全であっても模範者の行動を近似するマーカフ連鎖過程（MDP）として事前知識をモデル化する。
• このMDPにおける方策の価値を、その方策の対数事前確率として扱い、高い価値を持つ方策を事前に好む。
• ベイズフレームワークを用いて方策の事後分布を計算し、価値ベースの事前分布が事後分布を形作る。
• 対数事後分布の定常点に、保証された収束を示す効率的な最適化アルゴリズムを提案する。
• MDPの構造を活用することで、大規模な状態空間に対してもスケーリング可能であり、サンプル複雑度を低減する。
• 示範と価値ベースの事前分布を用いて、事後確率を最大化する方策を学習することで、模倣学習に応用する。

実験結果

リサーチクエスチョン

• RQ1 モデリングMDPから導出される価値ベースの事前分布は、模倣学習におけるサンプル効率を向上させることができるか？
• RQ2 他の事前分布のエンコーディング手法と比較して、本手法の価値ベースの事前分布は、学習速度と精度の面で優れているか？
• RQ3 価値ベースの事前分布を用いたベイズフレームワークは、模倣学習において意味のある解に収束するか？
• RQ4 本手法は、異なる環境や示範セットにも一般化可能か？
• RQ5 モデリングMDPに不正確さが存在しても、価値ベースの事前分布は頑健か？

主な発見

• 価値ベースの事前分布は、有効な方策学習に必要な示範回数を顕著に削減する。
• 提案されたアルゴリズムは、対数事後分布の定常点に収束し、安定した学習ダイナミクスを保証する。
• 実験結果から、本手法はサンプル効率の面でベースラインの模倣学習手法を上回ることが示された。
• 均一またはヒューリスティックな事前分布と比較して、価値ベースの事前分布は、高性能な方策への収束が速い。
• モデリングMDPが模範者の行動の一般構造を捉えている限り、不完全なMDPに対しても本手法は頑健である。
• 類似した事前分布形態を用いた従来の手法と比較して、本手法はより優れた一般化性能と低いサンプル複雑度を達成した。