[論文レビュー] Active Exploration for Inverse Reinforcement Learning

David Lindner, Andreas Krause+1 more|arXiv (Cornell University)|Jul 18, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

この論文では、生成モデルが不要な最初のアクティブ逆強化学習（AceIRL）アルゴリズムを提案する。このアルゴリズムは、未知の遷移ダイナミクスとエキスパート方策のアクティブな探索を可能にし、妥当な報酬関数の信頼区間を構築して不確実性を低減する探索方策を選択する。最悪ケースでは生成モデルを備えたアルゴリズムと同等のサンプル複雑性を達成し、部分最適性ギャップが有利な場合にはよりタイトな問題依存の境界を達成する。

ABSTRACT

Inverse Reinforcement Learning (IRL) is a powerful paradigm for inferring a reward function from expert demonstrations. Many IRL algorithms require a known transition model and sometimes even a known expert policy, or they at least require access to a generative model. However, these assumptions are too strong for many real-world applications, where the environment can be accessed only through sequential interaction. We propose a novel IRL algorithm: Active exploration for Inverse Reinforcement Learning (AceIRL), which actively explores an unknown environment and expert policy to quickly learn the expert's reward function and identify a good policy. AceIRL uses previous observations to construct confidence intervals that capture plausible reward functions and find exploration policies that focus on the most informative regions of the environment. AceIRL is the first approach to active IRL with sample-complexity bounds that does not require a generative model of the environment. AceIRL matches the sample complexity of active IRL with a generative model in the worst case. Additionally, we establish a problem-dependent bound that relates the sample complexity of AceIRL to the suboptimality gap of a given IRL problem. We empirically evaluate AceIRL in simulations and find that it significantly outperforms more naive exploration strategies.

研究の動機と目的

• 現実世界のシーケンシャルな相互作用しか得られない状況において、遷移モデルやエキスパート方策が事前に分かっているという制限を克服すること。
• 未知の環境に対して標的の探索を実行することで、エキスパートの報酬関数を効率的に学習するアクティブなIRLフレームワークの開発。
• 生成モデルへのアクセスなしにアクティブなIRLのサンプル複雑性境界を理論的に提供すること。これは、先行研究における主要な実用的制限要因である。
• 遷移モデルとエキスパート方策の推定誤差が、報酬関数推定およびその後続の方策性能にどのように伝搬されるかを特定すること。
• シミュレート環境における実験的評価を通じて、AceIRLがナーブな探索戦略を著しく上回ることの検証。

提案手法

• AceIRLは、環境およびエキスパートとの順序的相互作用から得られた観測データを用いて、妥当な報酬関数の信頼区間を構築する。
• 探索を逐次的意思決定問題として定式化し、各新しい軌道が報酬関数推定の不確実性を低減するように選択される。
• 2段階のアプローチを採用する：現在の不確実性に基づくグリーディ探索戦略と、凸最適化を用いて将来の不確実性低減を予測するより洗練された戦略。
• 遷移モデルとエキスパート方策からの不確実性推定を統合し、報酬関数に最も情報を与える領域を優先して探索する。
• AceIRLは最大エントロピーIRLを下位のIRLソルバとして採用しているが、使用する具体的なIRLアルゴリズムに依存しない。
• アルゴリズムは各イテレーションで凸最適化問題を解き、将来の期待不確実性を最小化する次回の探索方策を選択することで、よりタイトな問題依存のサンプル複雑性境界を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルへのアクセスを前提としないアクティブな探索が、生成モデルを備えたアルゴリズムと同等のサンプル複雑性を達成できるか。
• RQ2 遷移モデルとエキスパート方策の推定誤差が、回復された報酬関数の正確さおよびその結果得られる方策の性能にどのように影響するか。
• RQ3 未知の環境で近似的に最適な報酬関数を回復するのに必要な相互作用回数を最小化する探索戦略は何か。
• RQ4 部分最適性ギャップなどの、IRL問題の固有の難易度を反映する問題依存のサンプル複雑性境界をアクティブなIRLに対して導出可能か。
• RQ5 サンプル効率性および収束速度の観点から、AceIRLはナーブな探索戦略に比べてどのように性能を発揮するか。

主な発見

• AceIRLは、生成モデルへのアクセスを仮定しないにもかかわらず、生成モデルを備えたアクティブなIRLアルゴリズムと同等の最悪ケースのサンプル複雑性を達成する。
• アルゴリズムは部分最適性ギャップが大きいほど改善する問題依存のサンプル複雑性境界を提供し、より簡単なIRL問題ではより速く学習できることを示す。
• 期待不確実性低減を最適化する2番目の探索戦略は、グリーディ戦略よりもタイトなサンプル複雑性境界を達成するが、各イテレーションで凸最適化問題を解くコストが伴う。
• シミュレート環境での実験的評価により、AceIRLは学習速度および最終的な方策性能の両面でナーブな探索戦略を著しく上回ることが示された。
• この手法は報酬フリー探索設定にも一般化可能であり、特にバッチサイズが大きい場合に、既存のベースライン（例：Reward-free UCRL）を上回る性能を発揮する。
• 著者らはコードを公開しており、再現性を確保し、生成モデルなしのアクティブなIRLに関するさらなる研究を促進している。