[論文レビュー] Risk-Aware Active Inverse Reinforcement Learning

Daniel S. Brown, Yuchen Cui+1 more|arXiv (Cornell University)|Jan 8, 2019

Machine Learning and Algorithms参考文献 23被引用数 19

ひとこと要約

本稿では、ロボットの方策における一般化誤差の潜在的リスクに基づいてクエリを選択する、リスクを考慮したアクティブ逆強化学習（IRL）を提案する。価値のリスク（VaR）境界を用いて、性能低下が最も起こりやすい状態を優先する。サンプル効率性においてエントロピーに基づくおよび情報利得に基づく手法を上回り、安全な意思決定のためのタイトで計算可能な性能上限を提供する。

ABSTRACT

Active learning from demonstration allows a robot to query a human for specific types of input to achieve efficient learning. Existing work has explored a variety of active query strategies; however, to our knowledge, none of these strategies directly minimize the performance risk of the policy the robot is learning. Utilizing recent advances in performance bounds for inverse reinforcement learning, we propose a risk-aware active inverse reinforcement learning algorithm that focuses active queries on areas of the state space with the potential for large generalization error. We show that risk-aware active learning outperforms standard active IRL approaches on gridworld, simulated driving, and table setting tasks, while also providing a performance-based stopping criterion that allows a robot to know when it has received enough demonstrations to safely perform a task.

研究の動機と目的

• 既存のアクティブIRL手法に見られる性能リスクへの無関心を是正すること。これらは不確実性の低減に注力しているが、実際の方策リスクには焦点を当てていない。
• 真の報酬関数下で学習済み方策の一般化がうまくいかない可能性がある状態で、ロボットが人間に対して積極的にクエリを発行できることを実現すること。
• 安全なタスク実行に十分な数のデモンストレーションが収集されたことを示す、性能に基づく停止基準を提供すること。
• 最近のIRLにおけるタイトな性能境界の進展を活用し、不確実性ではなく実際の方策リスクに基づいたアクティブ学習意思決定を可能にすること。

提案手法

• 本手法は、デモンストレーション経路から報酬関数の事後分布を維持するためにベイジアンIRLを用いる。
• 各候補クエリ設定における方策損失のバリューオブリスク（VaR）を、報酬関数の事後分布全体にわたる最悪ケース性能を推定することで計算する。
• 一般化誤差の大きなリスクを最小化するために、最も高いα-VaR（例：0.95-VaR）を持つクエリ設定を選択する。
• MCMCサンプリングを用いて報酬関数の事後分布を推定し、MAP報酬関数に対する配置損失を計算することでVaRを算出する。
• 0.95-VaR境界が事前に定めたしきい値を下回るかどうかに基づく停止条件を統合し、安全な方策デプロイを示唆する。
• 本手法は、グリッドワールド、シミュレーテッドドライブ、および実ロボットのテーブルセッティングタスクにおいて、合成デモンストレーションと実世界での検証を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 不確実性や情報利得ではなく、方策一般化誤差のリスクに基づいてクエリを優先するようなアクティブIRLを設計可能か？
• RQ2 VaRに基づく性能境界は、真の報酬が未知である状況でも、方策損失のタイトで意味のある上限を提供できるか？
• RQ3 リスクを考慮したクエリ選択は、標準的なアクティブIRL手法と比較して、収束が速く、一般化誤差が低くなるか？
• RQ4 VaR境界は、IRLにおけるアクティブ学習の停止基準として信頼できるものか？

主な発見

• テーブルセッティングタスクにおいて、リスクを考慮したアクティブIRLは、ランダムおよびエントロピーに基づくクエリ戦略と比較して、平均配置誤差を顕著に低減した。10回のデモンストレーションで30〜50％の誤差低減を達成した。
• 0.95-VaR上限は、すべての実験で実際の最悪ケース配置誤差を正確かつタイトに境界付けしており、デモンストレーションの回数が増えるにつれて次第にタイトになった。
• 情報利得に基づくアクティブIRLと比較して、計算量が3桁減少したが、同等またはより優れた性能を達成した。
• 本手法により、意味のある停止条件が可能になった。0.95-VaR境界がしきい値を下回ると、追加のクエリなしでタスクを安全に実行可能となった。
• シミュレーテッドドライブおよびグリッドワールドタスクにおいて、リスクを考慮したクエリは、エントロピーに基づくクエリよりも、特に不確実性の高い領域で方策一般化誤差をより効果的に低減した。
• 実ロボットでの検証により、リスクを考慮したクエリを用いて学習した方策が、ランダムまたはエントロピーに基づくクエリと比較して、より新しいテスト設定への一般化が優れていたことが確認された。