[論文レビュー] Inverse Reinforcement Learning with Simultaneous Estimation of Rewards and Dynamics

Michael Herman, Tobias Gindele+3 more|arXiv (Cornell University)|Apr 13, 2016

Reinforcement Learning in Robotics参考文献 2被引用数 19

ひとこと要約

本稿では、専門家のデモンストレーションから報酬関数とマルコフ決定過程（MDP）のダイナミクスを同時に推定する勾配ベースの逆強化学習手法、SERDを提案する。報酬とダイナミクスの相関関係を専門家の方策を通じてモデル化することで、特にダイナミクスが十分に観測されていない状況においても、サンプル効率と推定精度が向上する。合成MDPと転移学習タスクの両方において、モデルフリーおよびモデルベースのIRLベースラインと比較して優れた性能を示している。

ABSTRACT

Inverse Reinforcement Learning (IRL) describes the problem of learning an unknown reward function of a Markov Decision Process (MDP) from observed behavior of an agent. Since the agent's behavior originates in its policy and MDP policies depend on both the stochastic system dynamics as well as the reward function, the solution of the inverse problem is significantly influenced by both. Current IRL approaches assume that if the transition model is unknown, additional samples from the system's dynamics are accessible, or the observed behavior provides enough samples of the system's dynamics to solve the inverse problem accurately. These assumptions are often not satisfied. To overcome this, we present a gradient-based IRL approach that simultaneously estimates the system's dynamics. By solving the combined optimization problem, our approach takes into account the bias of the demonstrations, which stems from the generating policy. The evaluation on a synthetic MDP and a transfer learning task shows improvements regarding the sample efficiency as well as the accuracy of the estimated reward functions and transition models.

研究の動機と目的

• 既存のIRL手法がシステムのダイナミクスを既知または良好に推定可能であると仮定しているという制限に対処すること。
• 報酬関数とMDP遷移ダイナミクスを同時に学習することで、逆強化学習におけるサンプル効率と推定精度を向上させること。
• 専門家のデモンストレーションが、遷移が観測されていなくても、報酬とダイナミクスに関する情報を専門家の方策を通じて含んでいるという事実を活用すること。
• 報酬とダイナミクスの両方のパラメータを同時に最適化できる微分可能で勾配ベースのフレームワークを構築すること。
• 限られたまたは偏ったデモンストレーションが存在する状況、特に転移学習設定における手法の評価を行うこと。

提案手法

• 専門家の方策を介して両者を結ぶことで、報酬パラメータとダイナミクスパラメータの両方を最適化する統合的最適化問題としてIRLを定式化する。
• 最大割引因果エントロピーIRLフレームワークを基盤とし、微分可能なソフトQ反復演算子を用いてダイナミクス推定を拡張する。
• 陰関数定理を用いて、収束したソフトQ関数の報酬パラメータおよびダイナミクスパラメータに関する勾配を計算する。
• リプシッツ連続性および収縮写像条件の下で収束保証を持つ反復的方策勾配計算を採用する。
• 遷移モデルパラメータθを方策勾配計算に統合し、ダイナミクスと報酬関数を介したエンドツーエンドのバックプロパゲーションを可能にする。
• 推定モデル下での観測デモンストレーションの尤度を最大化する統合尤度目的関数を導出する。この際、報酬とダイナミクスの両方の不確実性を考慮する。

実験結果

リサーチクエスチョン

• RQ1 専門家のデモンストレーションがスパarselyまたは偏っている状況において、報酬とダイナミクスの統合的推定がサンプル効率を向上させられるか？
• RQ2 報酬とダイナミクスの推定精度という観点から、統合的推定法がモデルフリーおよびモデルベースのIRLアプローチと比較してどのように性能を発揮するか？
• RQ3 遷移が観測されていない状態行動ペアについて、専門家の方策を制約として用いることで、どの程度の精度で推定が可能になるか？
• RQ4 本手法は、例えば転移学習タスクのような未観測環境へもより良く一般化できるか？
• RQ5 専門家の方策を報酬とダイナミクスの両方の関数としてモデル化することで、推定バイアスと収束性にどのような影響が生じるか？

主な発見

• 訓練タスクにおけるデモンストレーション集合サイズが3より大きい場合、SERDはベースライン手法と比較して、デモンストレーションの対数尤度において統計的に有意な改善を示した（p < 0.05）。
• 転移学習タスクにおいて、デモンストレーション集合サイズが12を超えると、SERDは対数尤度において統計的に有意な向上を示した（p < 0.05）。
• ベースラインのIRL手法と比較して、推定された遷移モデルと真の遷移モデルのカルバック・ライブラーレンス（KL）ダイバージェンスが最大40％まで低減された。
• 合成MDPにおいて、学習された方策と真の専門家方策の間のKLダイバージェンスが30〜50％低減され、より良い方策の模倣が達成された。
• 統合的推定フレームワークにより、観測されていない状態行動ペアに対しても、専門家の方策を正則化信号として活用することで、正確なダイナミクス推定が可能となった。
• 標準的な仮定（リプシッツ連続性およびγ < 1）の下で、反復的方策勾配計算の収束が証明された。