[論文レビュー] On the Correctness and Sample Complexity of Inverse Reinforcement Learning

Abi Komanduru, Jean Honorio|arXiv (Cornell University)|Jan 1, 2019

Gene Regulatory Network Analysis被引用数 5

ひとこと要約

本稿では、有限MDPにおける逆強化学習（IRL）の幾何学的でアルゴリズムに依存しない分析を提示し、与えられた最適方策を誘導する報酬関数を回復するためのL1正則化付きSVM定式化を提案する。報酬関数がベルマンの最適性条件を満たすことを保証するためのサンプル複雑性は、$ O(d^2 "log(nk)) $ である。ここで、$ d $ は遷移行列の各行あたりの非ゼロ要素数の最大値、$ n $ は状態数、$ k $ は行動数を表す。

ABSTRACT

Inverse reinforcement learning (IRL) is the problem of finding a reward function that generates a given optimal policy for a given Markov Decision Process. This paper looks at an algorithmic-independent geometric analysis of the IRL problem with finite states and actions. A L1-regularized Support Vector Machine formulation of the IRL problem motivated by the geometric analysis is then proposed with the basic objective of the inverse reinforcement problem in mind: to find a reward function that generates a specified optimal policy. The paper further analyzes the proposed formulation of inverse reinforcement learning with $n$ states and $k$ actions, and shows a sample complexity of $O(d^2 \log (nk))$ for transition probability matrices with at most $d$ non-zeros per row, for recovering a reward function that generates a policy that satisfies Bellman's optimality condition with respect to the true transition probabilities.

研究の動機と目的

• 有限状態および有限行動をもつMDPにおける逆強化学習問題の幾何学的でアルゴリズムに依存しない分析を提供すること。
• 真の遷移確率に関してベルマンの最適性条件を満たすように学習された方策を保証する報酬回復手法を開発すること。
• 遷移行列のスパarsity制約下でのIRLにおけるサンプル複雑性の境界を確立すること。

提案手法

• 最適方策と報酬関数のポリシー空間における構造を分析することで、IRL問題を幾何最適化タスクとして定式化する。
• スパarsityを促進するL1正則化付きサポートベクターマシン（SVM）フレームワークを導入し、IRL問題を解く。
• 最適方策がベルマン最適性制約によって定義される半空間の交点に位置することに着目した幾何的洞察を用いる。
• 真のダイナミクス下で、学習された報酬関数がターゲット方策を生成することを保証する凸最適化定式化を導出する。
• 遷移確率行列の各行に高々 $ d $ 個の非ゼロ要素があるという仮定の下で、サンプル複雑性を分析する。
• 有効な報酬関数を回復するための必要なデモンストレーション数の理論的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 有限MDPにおける逆強化学習問題の背後にある基本的幾何的構造は何か？
• RQ2 真のダイナミクス下で、与えられた最適方策を誘導する報酬関数を効率的に回復するにはどうすればよいか？
• RQ3 ベルマンの最適性条件を満たす報酬関数を回復するための最小デモンストレーション数は何か？
• RQ4 遷移行列のスパarsityはIRLのサンプル複雑性にどのように影響するか？
• RQ5 L1正則化付きSVMのような凸最適化定式化は、理論的保証を伴ってIRLに効果的に適用可能か？

主な発見

• 提案されたL1正則化付きSVM定式化は、幾何的根拠を持ち、凸な逆強化学習のアプローチを提供する。
• この手法は、真の遷移確率に関してベルマンの最適性条件を満たす方策を生成する報酬関数を回復することを保証する。
• この手法のサンプル複雑性は $ O(d^2 \log(nk)) $ であり、$ d $ は遷移行列の各行あたりの非ゼロ要素数の最大値を表す。
• 境界は積 $ nk $ に対して対数的に依存しており、状態空間および行動空間のサイズに応じたスケーラビリティを示している。
• 解析により、遷移行列のスパarsityが、信頼性の高い報酬回復に必要なデモンストレーション数を減少させることを示している。
• 理論的フレームワークは特定のIRLアルゴリズムに依存しないため、将来的な手法の一般的な幾何的基盤を提供する。