[論文レビュー] CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning

Sheng Yue, Guanbo Wang+5 more|arXiv (Cornell University)|Feb 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

CLAREは、学習済みダイナミクスモデルを用いた慎重な探索により、専門家データと多様なオフラインデータの活用をバランスさせることで、報酬の外挿誤差を低減する、保守的なモデルベース報酬学習フレームワークを提案する。この手法は、特に小規模データセットにおいて、理論的に改善された方策性能と一般化性能を達成し、MuJoCo連続制御タスクで最先端のベースラインを上回る。

ABSTRACT

This work aims to tackle a major challenge in offline Inverse Reinforcement Learning (IRL), namely the reward extrapolation error, where the learned reward function may fail to explain the task correctly and misguide the agent in unseen environments due to the intrinsic covariate shift. Leveraging both expert data and lower-quality diverse data, we devise a principled algorithm (namely CLARE) that solves offline IRL efficiently via integrating "conservatism" into a learned reward function and utilizing an estimated dynamics model. Our theoretical analysis provides an upper bound on the return gap between the learned policy and the expert policy, based on which we characterize the impact of covariate shift by examining subtle two-tier tradeoffs between the exploitation (on both expert and diverse data) and exploration (on the estimated dynamics model). We show that CLARE can provably alleviate the reward extrapolation error by striking the right exploitation-exploration balance therein. Extensive experiments corroborate the significant performance gains of CLARE over existing state-of-the-art algorithms on MuJoCo continuous control tasks (especially with a small offline dataset), and the learned reward is highly instructive for further learning.

研究の動機と目的

• 分布外状態において、共変量シフトのため報酬が誤って誘導されるという、オフライン逆強化学習における報酬外挿誤差という重要な課題に取り組む。
• 専門家のデモンストレーションにのみ依存する従来のオフライン IRL 手法の限界を克服し、未観測の状態行動分布に一般化できない問題を解決する。
• 高品質な専門家データと低品質な多様なデータの両方を活用することで、報酬一般化を向上させ、状態行動空間のカバレッジを向上させる。
• 保守的な報酬設計を通じて、学習済み方策と専門家方策の報酬ギャップを理論的に小さくする、理論的根拠に基づいたアルゴリズムを開発する。
• モデルベースのロールアウトと保守的な報酬正則化を統合することで、データが少ない環境でも安全かつ効果的な方策学習を可能にする。

提案手法

• 専門家データと多様なオフラインデータの活用を、学習済みダイナミクスモデルによる慎重な探索でバランスする二段階のトレードオフメカニズムを導入する。
• 学習済みダイナミクスモデルから生成された分布外状態行動に対して高い報酬値をペナルティ化する、保守的な報酬学習目的関数を定式化する。
• 報酬関数最適化中に専門家データと多様なデータの寄与を動的にバランスする、学習可能なポイントワイズ重みを用いる。
• 合成ロールアウトを生成するためのダイナミクスモデルを統合し、オンライン相互作用なしに状態行動空間のカバレッジを向上させる。
• 学習済み方策と専門家方策の報酬ギャップの上界を導出し、その上界を最小化する最適な重みパラメータを導出する。
• ターゲット方策と学習済み方策の分布的乖離を最小化するため、方策最適化目的関数にカイ二乗適合度正則化子を適用する。

実験結果

リサーチクエスチョン

• RQ1 限られた専門家デモンストレーションにおける共変量シフトに起因する報酬外挿誤差に対処できる、オフライン IRL アルゴリズムはどのように設計できるか？
• RQ2 学習済みダイナミクスモデルによる安全な探索を踏まえ、専門家データと多様なオフラインデータの活用の最適なバランスは何か？
• RQ3 保守的な報酬学習とモデルベースロールアウトを組み合わせることで、学習済み方策と専門家方策の性能ギャップを理論的に小さくできるか？
• RQ4 多様なデータの統合は、データが少ない状況下での報酬一般化をどのように向上させるか？
• RQ5 モデルベース探索を伴う保守的なオフライン IRL において、報酬ギャップに理論的保証を与えることは可能か？

主な発見

• CLAREは、特に小規模なオフラインデータセットを用いたデータが少ない環境下でも、MuJoCo連続制御ベンチマークで最先端のオフライン IRL 手法を顕著に上回る。
• 理論的分析により、学習済み方策と専門家方策の報酬ギャップの上界が得られ、その上界は導出された最適な重みパラメータによって最小化される。
• CLAREの保守的な報酬関数は、専門家の意図を効果的に捉える一方で、分布外状態における過信した予測をペナルティ化し、誤った誘導を低減する。
• 学習済みダイナミクスモデルを用いた制御された探索により、専門家データの多様性を超えた状態行動空間のカバレッジが向上し、方策の一般化性能が向上する。
• ソースコードとアブレーションスタディによる検証により、CLAREは下流の模倣学習を支援する高機能な報酬関数を達成している。
• 実験的結果により、CLAREの二段階の活用・探索トレードオフが、ベースラインと比較してより安全でより強固な方策学習を実現していることが確認された。