[論文レビュー] Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees

Siliang Zeng, Chenliang Li+2 more|arXiv (Cornell University)|Oct 4, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、有限時間収束を達成しつつ報酬推定の正確さを損なわずに定常解への収束を実現する単一ループ最大尤度逆強化学習アルゴリズムを提案する。報酬尤度最大化のための確率的勾配ステップとポリシー改善を組み合わせることで、MuJoCoロボティクスタスクにおいて既存のIRLおよび模倣学習ベンチマークを上回る性能を発揮するとともに、理論的保証を維持する。

ABSTRACT

Inverse reinforcement learning (IRL) aims to recover the reward function and the associated optimal policy that best fits observed sequences of states and actions implemented by an expert. Many algorithms for IRL have an inherently nested structure: the inner loop finds the optimal policy given parametrized rewards while the outer loop updates the estimates towards optimizing a measure of fit. For high dimensional environments such nested-loop structure entails a significant computational burden. To reduce the computational burden of a nested loop, novel methods such as SQIL [1] and IQ-Learn [2] emphasize policy estimation at the expense of reward estimation accuracy. However, without accurate estimated rewards, it is not possible to do counterfactual analysis such as predicting the optimal policy under different environment dynamics and/or learning new tasks. In this paper we develop a novel single-loop algorithm for IRL that does not compromise reward estimation accuracy. In the proposed algorithm, each policy improvement step is followed by a stochastic gradient step for likelihood maximization. We show that the proposed algorithm provably converges to a stationary solution with a finite-time guarantee. If the reward is parameterized linearly, we show the identified solution corresponds to the solution of the maximum entropy IRL problem. Finally, by using robotics control problems in MuJoCo and their transfer settings, we show that the proposed algorithm achieves superior performance compared with other IRL and imitation learning benchmarks.

研究の動機と目的

• 高次元環境における従来のネスト型ループIRLアルゴリズムの高い計算コストを低減すること。
• 計算負荷を軽減しつつも高い報酬推定精度を維持し、逆説的分析やポリシー転送を可能にすること。
• 有限時間保証付きで定常解に理論的に収束する単一ループアルゴリズムを開発すること。
• 報酬が線形パラメータ化されている場合に、同定された解が最大エントロピーIRL解に対応することを保証すること。
• 既存のIRLおよび模倣学習手法と比較して、ロボティクス制御タスクおよび転移学習設定において優れた性能を示すこと。

提案手法

• 従来のネスト型ループ構造に代えて、ポリシー改善と報酬尤度最大化のための確率的勾配ステップを交互に実行する単一ループフレームワークを採用する。
• 各ポリシー改善ステップの後には、観測された専門家のデモンストレーションの尤度を最大化するための確率的勾配更新が続く。
• リャプノフ解析と確率的近似理論を用いて、定常解への有限時間収束を理論的に証明する。
• 報酬が線形パラメータ化されている場合、本手法が最大エントロピーIRL問題の解に収束することを示す。
• 複雑な制御タスクと転移学習への応用を評価するために、本手法をMuJoCo環境に適用する。
• 報酬の完全な忠実度を維持することで、SQIL や IQ-Learn で見られるポリシーと報酬推定精度のトレードオフを回避する。

実験結果

リサーチクエスチョン

• RQ1 単一ループIRLアルゴリズムは、高い報酬推定精度を維持しつつ有限時間収束を達成できるか？
• RQ2 線形報酬パラメータ化の下で、提案手法は最大エントロピーIRL解に収束するか？
• RQ3 複雑なロボティクス制御タスクにおいて、最先端のIRLおよび模倣学習手法と比較して本手法の性能はいかがなものか？
• RQ4 正確な報酬推定のおかげで、逆説的分析が可能になるか？
• RQ5 環境ダイナミクスが変更された状況下での転移学習設定において、本手法の性能はどの程度か？

主な発見

• 提案手法は定常解への有限時間収束を達成し、多くの既存IRL手法に欠けている理論的保証を提供する。
• 線形報酬パラメータ化の下では、同定された解が最大エントロピーIRL問題の解に正確に一致する。
• 本手法はMuJoCoロボティクス制御タスクにおいて、ベンチマークとなるIRLおよび模倣学習アルゴリズムを上回り、優れたサンプル効率とポリシー性能を示す。
• 本手法は高い報酬推定精度を維持しており、環境ダイナミクスが変化した場合の信頼性のある逆説的ポリシー予測を可能にする。
• 転移学習設定において、本手法は新しいタスクにうまく一般化することができ、学習済み報酬関数の堅牢性と転送可能性を示している。
• 単一ループ設計により、ネスト型ループIRLと比較して計算オーバーヘッドを顕著に低減するが、報酬推定品質に妥協を生じさせない。