[論文レビュー] Density Matching Reward Learning

Sungjoon Choi, Kyungjae Lee+2 more|arXiv (Cornell University)|Aug 12, 2016

Reinforcement Learning in Robotics参考文献 24被引用数 5

ひとこと要約

本稿では、密度マッチングを用いて専門家の状態行動分布をマッチングすることで報酬関数を推定するモデルフリーな逆強化学習手法である密度マッチング報酬学習（DMRL）を提案する。カーネルDMRL（KDMRL）は、再生核ヒルバート空間（RKHS）におけるカーネルベースの関数近似を用いて非線形設定に拡張し、グリッドワールドおよび自動運転の実験で優れた性能を示し、安全性、安定性、模倣精度が向上した。

ABSTRACT

In this paper, we focus on the problem of inferring the underlying reward function of an expert given demonstrations, which is often referred to as inverse reinforcement learning (IRL). In particular, we propose a model-free density-based IRL algorithm, named density matching reward learning (DMRL), which does not require model dynamics. The performance of DMRL is analyzed theoretically and the sample complexity is derived. Furthermore, the proposed DMRL is extended to handle nonlinear IRL problems by assuming that the reward function is in the reproducing kernel Hilbert space (RKHS) and kernel DMRL (KDMRL) is proposed. The parameters for KDMRL can be computed analytically, which greatly reduces the computation time. The performance of KDMRL is extensively evaluated in two sets of experiments: grid world and track driving experiments. In grid world experiments, the proposed KDMRL method is compared with both model-based and model-free IRL methods and shows superior performance on a nonlinear reward setting and competitive performance on a linear reward setting in terms of expected value differences. Then we move on to more realistic experiments of learning different driving styles for autonomous navigation in complex and dynamic tracks using KDMRL and receding horizon control.

研究の動機と目的

• モデルのダイナミクスや状態の離散化を必要とせずに、専門家の行動から報酬関数を学習する課題に対処すること。
• 一般化性および転移可能性を向上させるために、直接的に専門家の状態行動分布をマッチングするモデルフリーな逆強化学習手法を開発すること。
• 再生核ヒルバート空間（RKHS）におけるカーネルベースの関数近似を用いて、非線形報酬関数にこの手法を拡張すること。
• やや弱い正則性仮定の下で、提案手法の理論的サンプル複雑度を分析すること。
• 構造的グリッドワールド環境と現実的な自動運転シナリオ（多様なドライブスタイルを含む）の両方で性能を評価すること。

提案手法

• コアとなる手法は、専門家の軌道から経験的状態行動分布を計算し、その分布と内積を最大化するように報酬関数を最適化することで、専門家の行動分布を効果的にマッチングする。
• この手法は密度マッチング問題として定式化され、環境のダイナミクスや価値関数の近似を必要とせず、専門家の軌道分布に報酬関数を一致させる。
• 非線形な設定では、KDMRLが再生核ヒルバート空間（RKHS）におけるカーネルベースの関数近似を用い、柔軟な報酬関数モデル化を可能にする。
• KDMRLのパラメータはカーネル法を用いて解析的に計算され、反復的最適化と比較して計算コストを顕著に低減する。
• 理論的分析により、やや弱い正則性仮定の下で、最適方策と推定方策の価値差のサンプル複雑度が導出された。
• 動的環境（自動運転など）におけるリアルタイム実装のため、再びホライズン制御と組み合わせられている。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな逆強化学習手法は、明示的なモデルダイナミクスや状態の離散化を必要とせずに、高い模倣性能を達成できるか？
• RQ2 伝統的なマージンベースや確率的IRL手法と比較して、専門家の状態行動分布の密度マッチングは、サンプル効率性および性能においてどのように異なるか？
• RQ3 RKHSにおけるカーネルベースの関数近似は、連続的な状態行動空間における非線形報酬関数の有効な学習を可能にするか？
• RQ4 提案手法は、異なるドライブスタイルにわたってどれほど一般化され、動的環境における安全性と安定性を維持できるか？
• RQ5 標準的な正則性条件の下で、提案された密度マッチングアプローチの理論的サンプル複雑度は何か？

主な発見

• グリッドワールド実験では、KDMRLは非線形報酬設定において、モデルベースおよびモデルフリーなIRLベースラインを上回り、期待値差が低かった。
• 線形報酬設定では、最先端の手法と同等の性能を達成し、さまざまな報酬構造に対して高いロバストネスを示した。
• トラックドライブ実験では、KDMRLは訓練済みシナリオでゼロコラジョンを達成し、GPIRL（タイルガッティングモードで78.3％のコラジョン率）を著しく上回った。
• KDMRLは絶対的レーン逸脱が最小で、レーン変更回数も最少であり、すべてのドライブモードで優れた安定性とレーンキーピング性能を示した。
• 移行シナリオでは、KDMRLは最小限の逸脱と一貫したレーンキーピングを維持し、特に高速モードで優れた性能を発揮した。
• この手法は高い転移性と安全性を示し、安全運転、高速運転、攻撃的運転スタイルのすべてにおいて、専門家の行動と密接に一致する軌道を生成した。