[論文レビュー] Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning

Dexter R. R. Scobee, Shankar Sastry|arXiv (Cornell University)|Sep 12, 2019

Reinforcement Learning in Robotics参考文献 16被引用数 18

ひとこと要約

本稿では、最大尤度制約推定法を用いた逆強化学習のための新しい手法を提案する。この手法は、最大エントロピー逆強化学習（MaxEnt IRL）フレームワークを用い、エキスパートの行動データから状態・行動・特徴に関する制約を同定することで、マルコフ決定過程における硬い制約を同定する。反復的に、観測された行動を最もよく説明する制約を推定し、適切にチューニングすれば、シミュレートされた環境および人間のナビゲーションタスクにおいて高い精度と低い誤検出率を達成する。

ABSTRACT

While most approaches to the problem of Inverse Reinforcement Learning (IRL) focus on estimating a reward function that best explains an expert agent's policy or demonstrated behavior on a control task, it is often the case that such behavior is more succinctly represented by a simple reward combined with a set of hard constraints. In this setting, the agent is attempting to maximize cumulative rewards subject to these given constraints on their behavior. We reformulate the problem of IRL on Markov Decision Processes (MDPs) such that, given a nominal model of the environment and a nominal reward function, we seek to estimate state, action, and feature constraints in the environment that motivate an agent's behavior. Our approach is based on the Maximum Entropy IRL framework, which allows us to reason about the likelihood of an expert agent's demonstrations given our knowledge of an MDP. Using our method, we can infer which constraints can be added to the MDP to most increase the likelihood of observing these demonstrations. We present an algorithm which iteratively infers the Maximum Likelihood Constraint to best explain observed behavior, and we evaluate its efficacy using both simulated behavior and recorded data of humans navigating around an obstacle.

研究の動機と目的

• 安全で制約の厳しいシステムに共通する硬い制約をモデル化する際、報酬ベースの逆強化学習の限界を克服すること。
• エキスパートの行動データを最もよく説明する、状態・行動・特徴に関する制約を体系的かつ原理的（principled）に同定する手法を開発すること。
• 観測された行動を説明する能力に基づいて、状態・行動・特徴といった異なる種類の制約を直接比較・順位付け可能にする仕組みを提供すること。
• 報酬設計に依存せず、制約を明示的にモデル化することにより、逆強化学習の解釈可能性と精度を向上させること。
• 報酬ベースの手法よりも、非マルコフ的または安全を重視する行動をより自然に扱えるフレームワークを提供すること。

提案手法

• 最大エントロピー逆強化学習（MaxEnt IRL）フレームワークを用い、名目的なMDPと名目的な報酬関数の下で、エキスパートの行動データの尤度を計算する。
• 候補となる制約が、観測された軌道の出現確率をどの程度向上させるかを評価する尤度基準を導入する。
• 1つの制約を順次選択し、現在のモデルに対する尤度の向上を最大化する反復的アルゴリズム（アルゴリズム2）を採用する。
• 過学習と誤検出を制御するため、予測された特徴カウントと観測された特徴カウントのKLダイバージェンス（$d_{D_{\text{KL}}}$）に閾値を設ける。
• 時間経過に伴う期待特徴カウントの推移を追跡することで、制約の影響を評価し、履歴的な状態・行動シーケンスを用いて非マルコフ的制約の同定を支援する。
• 制約推定プロセスの初期化に、制約なしの行動データに対してMaxEnt IRLを適用して得られる名目報酬関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 報酬ベースの逆強化学習に加えて、エキスパート行動をより効果的に説明する制約を同定できるか？
• RQ2 エキスパート行動データに対する説明力に基づいて、状態・行動・特徴といった異なる種類の制約をどのように順位付け・比較できるか？
• RQ3 予測された行動と観測された行動の間のKLダイバージェンスに最適な閾値は何か？これは、精度と誤検出率の間の妥当なトレードオフを実現する。
• RQ4 本手法は、グリッドワールド環境における人間のナビゲーションデータから障害物制約を効果的に同定できるか？
• RQ5 行動データの数が、同定された制約の信頼性と精度にどのように影響するか？

主な発見

• 本手法は、人間のナビゲーションタスクにおいて中央の障害物の存在を成功裏に同定し、学習された制約によって障害物領域への訪問確率が著しく低下した。
• 特に十分な数の行動データが得られた場合、$d_{D_{\text{KL}}}=0.1$の閾値を設定することで、誤検出率が低く、KLダイバージェンスも小さい良好なバランスが達成された。
• 10件未満の行動データと低い$d_{D_{\text{KL}}}$閾値を用いた場合、過学習のリスクが生じ、KLダイバージェンスは低く保たれるが、誤検出率が高くなる傾向にあった。
• 行動データの数を増やすことで、誤検出率が低下し、予測された行動と観測された行動の整合性が向上した。
• 本手法は、シミュレーション環境および実際の人間の軌道データの両方で、安定した性能を示し、安全を重視する応用分野への応用可能性を示した。
• 尤度最大化による直接的かつ体系的な比較が可能であるため、従来の制約推定手法に比べ、状態・行動・特徴の制約を効果的に同定できる。