[論文レビュー] Towards Resolving Unidentifiability in Inverse Reinforcement Learning

Kareem Amin, Satinder Singh|arXiv (Cornell University)|Jan 25, 2016

Reinforcement Learning in Robotics参考文献 16被引用数 14

ひとこと要約

この論文は、逆強化学習（IRL）における報酬関数の根本的同定不能性を、アクティブでマルチ環境の実験フレームワークを導入することで解決する。学習者が複数の環境を選択し、それらの環境における行動を観測可能にすることで、同じ方策を説明できる複数の報酬関数が存在する「実験的同定不能性」を、たった O(log d) の環境で解消できることを示している。これにより、情報量の増加を最大化するグリーディなアクティブラーニングアルゴリズムを用いて、ほぼ完璧な報酬回復が可能になる。

ABSTRACT

We consider a setting for Inverse Reinforcement Learning (IRL) where the learner is extended with the ability to actively select multiple environments, observing an agent's behavior on each environment. We first demonstrate that if the learner can experiment with any transition dynamics on some fixed set of states and actions, then there exists an algorithm that reconstructs the agent's reward function to the fullest extent theoretically possible, and that requires only a small (logarithmic) number of experiments. We contrast this result to what is known about IRL in single fixed environments, namely that the true reward function is fundamentally unidentifiable. We then extend this setting to the more realistic case where the learner may not select any transition dynamic, but rather is restricted to some fixed set of environments that it may try. We connect the problem of maximizing the information derived from experiments to submodular function maximization and demonstrate that a greedy algorithm is near optimal (up to logarithmic factors). Finally, we empirically validate our algorithm on an environment inspired by behavioral psychology.

研究の動機と目的

• 単一環境からの観測に限る報酬推定の精度を制限する、逆強化学習（IRL）における報酬関数の根本的同定不能性という根本的問題に取り組む。
• 表現的同定不能性（例えば、定数またはスケーリングされた報酬）と実験的同定不能性（行動データが不十分なために報酬を区別できないこと）を区別し、後者がアクティブな実験によって解消可能であると主張する。
• 学習者が複数の環境を選択してエージェントの行動を観測できる、新しいIRLフレームワークを提案する。これにより、従来の単一環境IRLよりも強い同定可能保証が得られる。
• 現実的な制約下で真の報酬関数に関する情報量の増加を最大化するように環境を選択するグリーディなアクティブラーニングアルゴリズムを設計・分析する。
• 心理学的ミニアニュレーション環境で本手法を実証的に検証し、非適応的および単一環境IRLベースラインと比較して顕著な性能向上を示す。

提案手法

• 論文は、固定された状態-行動空間内で任意の遷移ダイナミクスを選択可能であるモデルを導入し、少数の実験で報酬関数の完全同定を可能にする。
• 実験的同定不能性の低減問題を、一貫する報酬関数の集合の体積を減らすことを目的とする、アクティブなサブモジュラ関数最大化として定式化する。
• 理論的保証を備えたグリーディアルゴリズムを提案し、予算制約下でも最適解の対数的要因内での解を得られることを保証する。
• 選択された環境で観測された一貫する方策集合から、線形計画法とL2正則化を用いて報酬関数を推定する。
• 本手法は2つの設定で評価されている：方策観測（エージェントの完全な最適方策が観測される）と軌道観測（部分的な軌道のみが利用可能）で、一貫した性能向上が得られた。
• 高次元の凸集合としての可能な報酬を表す集合の体積を推定し、高次元凸集合からのサンプリングにMCMCサンプリング（ヒットアンドラン）を活用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブな複数環境選択によって、IRLにおける実験的同定不能性は完全に解消可能か？
• RQ2 理論的に最適な設定下で、ほぼ完璧な報酬回復を達成するには、最小で何個の環境が必要か？
• RQ3 実用的制約下で、真の報酬関数に関する情報量の増加を最大化するように効率的に環境を選択する方法は何か？
• RQ4 収束速度と報酬推定の最終誤差の観点から、グリーディなアクティブアルゴリズムは非適応的ベースラインと比べてどのように性能を発揮するか？
• RQ5 報酬推定段階における正則化パラメータ λ の変更に、提案手法はどれほど感度を示すか？

主な発見

• 制限のない環境選択が可能な理想設定では、提案アルゴリズムは状態数 d に対して O(log(d/ϵ)) の環境数で真の報酬関数の ϵ-同定を達成する。
• 環境選択が制限された設定下では、グリーディアルゴリズムが一貫する報酬関数の集合の体積を最適解の対数的要因内にまで低減する解を得る。
• グリーディアルゴリズムは非適応的手法よりも著しく高速に収束する：25ラウンド後、誤差は 0.2687(±0.0302) にまで低下するが、最良の非適応的手法では 0.9691(±0.24310) のままにとどまる。
• グリーディアルゴリズムはさらに多くのラウンドで改善を続ける一方、非適応的手法は停滞するため、アクティブな選択により、固定されたサンプリング分布を超える新しい情報の多い環境にアクセス可能であることが示された。
• 正則化パラメータ λ の選択に対して本手法は頑健である。広い範囲の λ 値で性能が安定し、質的に類似した結果が得られるが、λ ≥ 1 の極端な場合にのみ病理的挙動が観察された。
• ミニアニュレーション環境における実証的結果から、アクティブなマルチ環境IRLが、単一環境および非適応的マルチ環境ベースラインと比べて、報酬回復精度で顕著に優れていることが確認された。