[論文レビュー] Online Inverse Reinforcement Learning via Bellman Gradient Iteration

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Jul 28, 2017

Reinforcement Learning in Robotics参考文献 9被引用数 4

ひとこと要約

本稿では、ベルマン勾配反復を用いてリアルタイムで報酬関数を更新するオンライン逆強化学習アルゴリズムを提案する。この手法により、逐次観測からの低記憶領域、高効率な学習が可能となり、データが増えるにつれて精度が向上する。シミュレートされた住宅環境において、観察された行動からユーザーの好みを学習することで、均一なクリーニング戦略を上回る性能を発揮する。

ABSTRACT

This paper develops an online inverse reinforcement learning algorithm aimed at efficiently recovering a reward function from ongoing observations of an agent's actions. To reduce the computation time and storage space in reward estimation, this work assumes that each observed action implies a change of the Q-value distribution, and relates the change to the reward function via the gradient of Q-value with respect to reward function parameter. The gradients are computed with a novel Bellman Gradient Iteration method that allows the reward function to be updated whenever a new observation is available. The method's convergence to a local optimum is proved. This work tests the proposed method in two simulated environments, and evaluates the algorithm's performance under a linear reward function and a non-linear reward function. The results show that the proposed algorithm only requires a limited computation time and storage space, but achieves an increasing accuracy as the number of observations grows. We also present a potential application to robot cleaners at home.

研究の動機と目的

• 報酬関数が継続的に適応する必要がある長期的かつ動的応用において、オフライン逆強化学習の限界を克服すること。
• すべての歴史的データを保存せずに、各新しい観測ごとに報酬関数を段階的に更新するオンライン IRL アルゴリズムの開発。
• 新規のベルマン勾配反復法を用いて、報酬パラメータに関する Q-値勾配を活用し、効率的なリアルタイム報酬推定を実現すること。
• 逐次的行動データから線形および非線形報酬関数を学習する手法の有効性を実証すること。
• ユーザーの好みが時間とともに変化する動的環境において、オンラインで学習可能な実用的応用例（スマートホームクリーニングロボット）への適用。

提案手法

• 新しい行動が観測されるたびに報酬関数を更新するように、オンライン逆強化学習を尤度最大化問題として定式化する。
• 報酬関数パラメータに関して微分可能な最適 Q-値関数を用いて行動分布をモデル化する。
• 報酬関数パラメータに関する Q-値勾配を効率的に計算するための新規なベルマン勾配反復法を導入する。
• 勾配に基づいて確率的勾配上昇法を用いて報酬関数パラメータを更新し、局所最適解への収束を保証する。
• 高次元または複雑な状態空間における尤度計算処理のための2つの近似手法（pnorm および gsoft）を適用する。
• ロボットが人間の動きを観測し、好みに基づくクリーニング方針を学習する、シミュレートされた住宅環境にこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 すべての過去データを保存せずに、各新しい観測ごとに報酬関数をリアルタイムで更新できる逆強化学習アルゴリズムを設計できるか？
• RQ2 最新の観測と現在のパラメータのみを用いて、オンラインで報酬関数をどれほど正確に推定できるか？
• RQ3 提案されたベルマン勾配反復法は、線形および非線形設定の両方で安定的かつ収束する報酬関数学習を可能にするか？
• RQ4 実世界のロボット応用において、オンライン IRL の性能は均一または最適（真の値）クリーニング戦略と比べてどうか？
• RQ5 動的で長期的な環境において、観察された人間の行動からユーザー固有のクリーニング好みを効果的に学習できるか？

主な発見

• 提案されたオンライン IRL アルゴリズムは、観測数が増えるにつれて報酬推定の精度が向上し、相関係数が真の報酬関数に近づく。
• 最新の観測と報酬関数パラメータのみを保存するため、計算時間と記憶領域の両方が限定的である。
• 線形報酬関数では、非線形関数よりも相関係数の上昇が著しく速く、より単純な設定での収束が速いことを示している。
• スマートホームクリーニングロボットのシミュレーションにおいて、非線形報酬関数を用いたロボットは、均一クリーニング戦略と比較して最大30％のエネルギー消費削減を達成した。
• アルゴリズムは局所最適解への収束を示し、g-soft 近似法は線形および非線形報酬学習の両方で安定した性能を示した。
• 学習された報酬関数の動画可視化から、ロボットが住宅環境における人間の移動パターンに一致する非均一なクリーニング好みを効果的に学習したことが明らかになった。