[論文レビュー] Cooperative Inverse Reinforcement Learning

Dylan Hadfield-Menell, Anca D. Dragan+2 more|arXiv (Cornell University)|Jun 9, 2016

Reinforcement Learning in Robotics参考文献 25被引用数 322

ひとこと要約

この論文は協調的逆強化学習（CIRL）を、人間が報酬関数を知り、ロボットがそれを学習して人間の報酬を最大化するという二エージェント・部分情報ゲームとして定義し、最適な CIRL 方策は教えることと学習することを含むこと、そしてこれが POMDP に還元可能であることを示す。また近似手法を導入し、 apprenticeship learning と従来の IRL を分析する。

ABSTRACT

For an autonomous system to be helpful to humans and to pose no unwarranted risks, it needs to align its values with those of the humans in its environment in such a way that its actions contribute to the maximization of value for the humans. We propose a formal definition of the value alignment problem as cooperative inverse reinforcement learning (CIRL). A CIRL problem is a cooperative, partial-information game with two agents, human and robot; both are rewarded according to the human's reward function, but the robot does not initially know what this is. In contrast to classical IRL, where the human is assumed to act optimally in isolation, optimal CIRL solutions produce behaviors such as active teaching, active learning, and communicative actions that are more effective in achieving value alignment. We show that computing optimal joint policies in CIRL games can be reduced to solving a POMDP, prove that optimality in isolation is suboptimal in CIRL, and derive an approximate CIRL algorithm.

研究の動機と目的

• 価値整合性の問題を、ヒトが報酬関数を知り、ロボットがそれを学習して人間の報酬を最大化する協調的二エージェントゲーム（CIRL）として formalize する。
• 最適な CIRL 解は能動的な教示と能動的な学習を含むことを示す。
• CIRL は POMDP の解決に還元でき、ロボットの報酬パラメータに対する信念を十分統計量とすることを示す。
• CIRL の近似アルゴリズムを提案し、 CIRL 内の見習い学習を分析する。
• 理論的・経験的結果を通じて、IRL ベースのアプローチと CIRL ベースの教示・学習を比較する。

提案手法

• CIRL を、報酬パラメータについて同一の報酬と、非対称情報を持つ二人プレイヤーのマルコフゲームとして定義する。
• CIRL における最適方策の解は、 coordinator-POMDP の還元を介して POMDP を解くことに還元されることを証明する。
• 見習い学習を CIRL のサブクラス（ACIRL）として特徴づけ、DBE/従来の IRL が最適でない場合があることを示す。
• 線形報酬仮定の下で、報酬についての学習を最大化する教示的な人間デモンストレーションを生成する近似法を開発する。
• 期待特徴量の一致と正規化項に基づく教示的デモンストレーションのアルゴリズム的スキームを提供する。
• 専門家デモンストレーションと比べた教示的デモンストレーションを用いたロボットの学習と性能を比較するモバイルロボットナビゲーション領域の実験を記述する。

実験結果

リサーチクエスチョン

• RQ1 価値整合性をヒトとロボットの協調ゲーム（CIRL）としてどのように定式化できるか。
• RQ2 なぜ最適な CIRL 方策は教示と能動的学習を要求するのか。従来の IRL とは異なる理由は何か。
• RQ3 POMDP への還元によって CIRL を効率的に解けるのか、計算量にはどんな影響があるのか。
• RQ4 見習い学習において、デモンストレーターの行動は専門家デモンストレーションより教示的な最良反応としてモデル化した方が良いのか。
• RQ5 教示的デモンストレーションはデモンストレーション-by-expert アプローチと比較して、ロボットの学習報酬関数とその後の性能を改善するのか。

主な発見

• CIRL は人間の価値観にロボットを適合させるための協調的な教示と学習行動を誘発し、より効果的である。
• CIRL は POMDP に還元可能であり、報酬パラメータに対するロボットの信念を最適な行動の十分統計量とする。
• 誰が教えるか、どのように人間がデモンストレーションするかは学習効率と最終的な性能に大きく影響し、IRL に似た DBE 方針はしばしば最適ではない。
• 実験では best-response（教示的）デモンストレーションが報酬推定と後悔最小化の観点で専門家デモンストレーションより優れている。
• 線形報酬の下での単純な近似的教示デモンストレーションアルゴリズムは、情報量が多い状態へロボットを導くことで学習を改善する。
• 実ユーザーはより効率的に教えるために戦略的に振る舞う可能性があり、従来の IRL 仮定に挑戦する。