[論文レビュー] Repeated Inverse Reinforcement Learning

Kareem Amin, Nan Jiang+1 more|arXiv (Cornell University)|May 15, 2017

Reinforcement Learning in Robotics被引用数 30

ひとこと要約

本稿では、人間の内発的報酬関数を、不適切な行動が人間のデモを引き起こす「驚き」を最小化することで学習する繰り返し逆強化学習フレームワークを提案する。繰り返し人間の是正を観測することで、サンプル効率が保証された形で真の報酬関数を特定し、誤りの上限として Õ(d²/ε² log(d/δε)) を達成する。ここで d は状態空間のサイズ、ε は部分最適性の閾値を表す。

ABSTRACT

We introduce a novel repeated Inverse Reinforcement Learning problem: the agent has to act on behalf of a human in a sequence of tasks and wishes to minimize the number of tasks that it surprises the human by acting suboptimally with respect to how the human would have acted. Each time the human is surprised, the agent is provided a demonstration of the desired behavior by the human. We formalize this problem, including how the sequence of tasks is chosen, in a few different ways and provide some foundational results.

研究の動機と目的

• 標準的な逆強化学習における報酬関数の同定不能性という根本的課題に取り組むために、繰り返し逆強化学習（IRL）の設定を導入する。
• 人間の好みを多様なタスクにわたって一般化可能にするために、不変な内発的報酬関数を学習する。
• エージェントが部分最適行動によって人間を驚かせる回数を最小化し、人間のフィードバックが各驚きを是正する。
• 学習プロセス中にエージェントが行う誤り（驚き）の数に対する理論的保証を提供する。
• 人間のフィードバックが完全な方策ではなく、部分的な軌道から提供される設定への拡張を可能にする。

提案手法

• エージェントが共通の内発的報酬関数 θ⋆ とタスク固有の成分を持つ一連のマルコフ決定過程（MDP）に直面する繰り返しIRL問題を形式化する。
• 報酬関数を不変成分（θ⋆）とタスク固有の成分に分解し、繰り返しの相互作用を通じて θ⋆ を学習可能にする。
• 状態の占有度測度 ημ,Pπ を用いた方策評価フレームワークを用い、長期的効用を表し、Y⊤ημ,Pπ を通じて報酬関数と関連付ける。
• 各驚きの後、推定報酬関数 Θt を更新するアルゴリズム（アルゴリズム1）を設計し、信頼区間に基づく更新ルールにより θ⋆ に収束させる。
• 軌道ベースのフィードバックに対応するため、ミニバッチごとに誤りを集約し、Θt を周期的にのみ更新することで、ノイズや疎なデモに対して頑健性を確保する。
• 敵対的タスク選択を活用し、最悪ケース性能の境界を保証する。タスク環境（Et, Rt）を敵が選択することで、エージェントの挑戦を強化する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは複数のタスクにわたって驚きの回数を最小化することで、人間の内発的報酬関数 θ⋆ を学習できるか？
• RQ2 真の報酬関数に収束するまでの誤り（驚き）の理論的上限は何か？
• RQ3 人間のデモが部分最適行動の後にのみ提供される場合、たとえフィードバックが部分的な軌道に制限されても、エージェントは一般化可能か？
• RQ4 エージェントがタスク環境と報酬を選べる場合、サンプル複雑性と収束保証はどのように定まるか？
• RQ5 人間のフィードバックが完全な方策ではなく、誤りの状態からの単一の軌道として提供される設定にも、フレームワークを拡張可能か？

主な発見

• エージェントは、d が状態数、ε が部分最適性の閾値であるとすると、高確率で真の内発的報酬関数 θ⋆ を Õ(d²/ε² log(d/δε)) の誤り上限で特定可能である。
• エージェントがタスク環境と報酬を選べる場合、収束保証が保証された効率的な報酬同定アルゴリズムが提案される。
• 人間のフィードバックが誤り状態からの単一の軌道として提供される設定では、アルゴリズム2はアルゴリズム1と同一の誤り上限を達成し、サンプル複雑度は Õ(d²/ε² log(d/δε)) である。
• フレームワークは誤りの数に対する下界を提供し、上界が対数的要因を除いてタイトであることを示している。
• フィードバックが完全な方策ではなく単一の軌道である場合、複数の誤りを集約し、報酬推定を周期的に更新することで、手法は頑健性を保つ。
• 理論的分析は敵対的タスク選択のもとで成り立つため、タスク分布に関する仮定なしに最悪ケース性能保証が得られる。