[論文レビュー] Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization

Sreejith Balakrishnan, Quoc Phong Nguyen+2 more|arXiv (Cornell University)|Nov 17, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 7

ひとこと要約

本稿では、ポリシー不変性を扱うために新しい$ρ$-プロジェクションを導入することで、報酬関数空間を効率的に探索するベイズ最適化フレームワーク、BO-IRLを提案する。等価な報酬関数を潜在空間の単一の点にマッピングすることにより、BO-IRLは標準のステーションナリィカーネルの有効な使用を可能にし、高価なポリシー最適化を削減しながら、高いサンプル効率で複数の整合性のある報酬関数を発見する。

ABSTRACT

The problem of inverse reinforcement learning (IRL) is relevant to a variety of tasks including value alignment and robot learning from demonstration. Despite significant algorithmic contributions in recent years, IRL remains an ill-posed problem at its core; multiple reward functions coincide with the observed behavior and the actual reward function is not identifiable without prior knowledge or supplementary information. This paper presents an IRL framework called Bayesian optimization-IRL (BO-IRL) which identifies multiple solutions that are consistent with the expert demonstrations by efficiently exploring the reward function space. BO-IRL achieves this by utilizing Bayesian Optimization along with our newly proposed kernel that (a) projects the parameters of policy invariant reward functions to a single point in a latent space and (b) ensures nearby points in the latent space correspond to reward functions yielding similar likelihoods. This projection allows the use of standard stationary kernels in the latent space to capture the correlations present across the reward function space. Empirical results on synthetic and real-world environments (model-free and model-based) show that BO-IRL discovers multiple reward functions while minimizing the number of expensive exact policy optimizations.

研究の動機と目的

• 逆強化学習における不適切な定式化、すなわち同じ専門家行動を生み出す複数の報酬関数が存在するという問題に対処すること。
• 正確なポリシー最適化の計算コストを低減するため、ベイズ最適化を活用すること。
• 新しいカーネルを用いて報酬関数間の相関をモデル化することで、報酬関数空間の効率的な探索を可能にすること。
• 単一の解に収束するのではなく、複数の妥当な報酬関数を発見する手法を提供すること。
• 報酬関数上のガウス過程の事後分布により不確実性推定を提供し、下流の分析を支援すること。

提案手法

• ポリシー不変性を持つ報酬関数を潜在空間の単一の点にマッピングする$ρ$-プロジェクションを導入し、構造的不変性を保証する。
• 類似した尤度を持つ報酬関数間の相関をモデル化するために、潜在空間を活用した$ρ$-RBFカーネルを設計する。
• ガウス過程を用いてNLL（負の対数尤度）のランドスケープをモデル化し、専門家の行動データのNLLを最小化するベイズ最適化を適用する。
• GP事後分布を用いてNLLの不確実性を推定し、アクティブラーニングと候補報酬関数の段階的改善を可能にする。
• 必要に応じてのみポリシー最適化サブルーチンを実行し、有望な報酬関数パラメータを戦略的に選択することで、高価な評価を最小限に抑える。
• 合成的および現実世界の環境（モデルフリーおよびモデルベース設定を含む）で手法を検証し、サンプル効率とロバストネスを示す。

実験結果

リサーチクエスチョン

• RQ1 非定常的かつポリシー不変性を示す報酬関数空間の課題を考慮しても、ベイズ最適化を逆強化学習に効果的に適用できるか？
• RQ2 異なる報酬関数が同じ最適ポリシーを生み出すポリシー不変性をどのようにモデル化すれば、報酬関数空間におけるカーネルベースの一般化を向上させられるか？
• RQ3 $ρ$-プロジェクションによる学習済み潜在表現は、標準の定常カーネル（例：RBF）が報酬関数の相関を標準的なカーネルよりも効果的に捉えるのを可能にするか？
• RQ4 BO-IRLは、最先端のIRL手法と比較して、高価なポリシー最適化の呼び出し回数をどの程度削減できるか？
• RQ5 BO-IRLは、多様な環境において、専門家の行動を説明する複数の整合性のある報酬関数をどの程度効果的に発見できるか？

主な発見

• BO-IRLは$ρ$-RBFカーネルを用いて、グリッドワールド環境でわずか16.0 ± 15.6回の反復で70%の成功率を達成し、標準のRBF（50%成功、30.0 ± 34.4回の反復）を顕著に上回った。
• ボーランゲ道路網では、BO-IRLはわずか2.0 ± 1.1回の反復で100%の成功率を達成したのに対し、RBFカーネルでは80%の成功率で9.5 ± 6.3回の反復を要した。
• BO-IRLは、離散的および連続的制御タスクの両方で、専門家の行動データと整合する複数の報酬関数を発見した。これには、フェッチリーチ環境も含まれる。
• 不確実性を考慮したベイズ最適化を活用することで、BO-IRLはBIRL、AIRL、GCLを凌駕するサンプル効率を実現した。
• 実験では、標準カーネルがポリシー不変性のため報酬関数の相関を捉えられないと判明した一方、$ρ$-RBFカーネルはこれらの構造を効果的にモデル化した。
• フェッチリーチタスクでは、BO-IRLが反復90回目に大きな距離閾値（青い球）を持つ報酬関数を特定し、意味的かつ行動的に整合性のある解を発見できる能力を示した。