[論文レビュー] Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints

Sebastian Tschiatschek, Ahana Ghosh+3 more|arXiv (Cornell University)|Jun 2, 2019

Reinforcement Learning in Robotics参考文献 44被引用数 8

ひとこと要約

本稿では、学習者の好みや制約を考慮して教師が最適化する逆強化学習における学習者に配慮した指導を導入する。最大因果エントロピー逆強化学習モデル内での二段階最適化フレームワークを用いることで、従来の学習者無視型指導に比べ、理論的保証と実証的検証を伴って好みに配慮した方策最適化を明示的にモデル化することで、学習性能が向上する。

ABSTRACT

Inverse reinforcement learning (IRL) enables an agent to learn complex behavior by observing demonstrations from a (near-)optimal policy. The typical assumption is that the learner's goal is to match the teacher's demonstrated behavior. In this paper, we consider the setting where the learner has its own preferences that it additionally takes into consideration. These preferences can for example capture behavioral biases, mismatched worldviews, or physical constraints. We study two teaching approaches: learner-agnostic teaching, where the teacher provides demonstrations from an optimal policy ignoring the learner's preferences, and learner-aware teaching, where the teacher accounts for the learner's preferences. We design learner-aware teaching algorithms and show that significant performance improvements can be achieved over learner-agnostic teaching.

研究の動機と目的

• 学習者の好みと制約を考慮した逆強化学習の形式化を図り、盲目的な模倣という仮定を越える。
• 教師が学習者固有の好みを無視する学習者無視型指導における部分最適性を分析する。
• 既知の学習者好みに基づいて、教師が指導データを最適化する学習者に配慮した指導フレームワークを設計する。
• 学習者好みが未知の場合の適応的指導戦略を、理論的保証とともに開発する。
• 学習者に配慮した指導が、学習者無視型手法に比べて学習性能を著しく向上させることを実証的に検証する。

提案手法

• 最大因果エントロピー逆強化学習フレームワークを用いて指導問題を形式化し、特徴量制約を介して学習者の好みをモデル化する。
• 教師が既知の好みと制約のもとで学習者のパフォーマンスを最大化するように指導データを最適化する二段階最適化アプローチを提案する。
• 制約と勾配の有限差分による線形近似を用いて、制約付き最適化問題を解くためのFrank-Wolfeアルゴリズムの変種を用いる。
• 2つの部分問題を解く：1つは好みの特徴量に硬い制約を課すもの、もう1つはそれらを緩和するもので、その後最良の解を選択する。
• 特徴量期待値マッチングを採用し、教師が最適方策の特徴量期待値を計算して学習者に提供する。
• 学習者好みが未知の場合に適応するため、自然な正則性条件を仮定し、理論的収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 学習者が教師の模倣行動と矛盾する好みを持つ場合、学習者無視型指導はどの程度性能を発揮しないのか？
• RQ2 教師が学習者の好みと制約を明示的にモデル化し、それに適応することで、学習パフォーマンスを向上させられるか？
• RQ3 好みの制約を伴う逆強化学習における効果的な学習者に配慮した指導を実現する最適化フレームワークは何か？
• RQ4 学習者好みが未知であっても、性能向上を保証しながら教師がどのように適応できるか？
• RQ5 学習者に配慮した指導は、学習者無視型指導に比べて、どの程度の実証的パフォーマンス向上を達成するか？

主な発見

• 実証的評価により、期待割引報酬という観点で、学習者に配慮した指導が学習者無視型指導を著しく上回ることが示された。
• 二段階最適化フレームワークは、タスク報酬と学習者制約の両方を尊重する指導方策を的確に同定できた。
• Frank-Wolfeに基づくアルゴリズムは、制約と勾配の線形近似を用いて、制約付き最適化問題を効果的に解くことができた。
• 硬い制約を課す場合と緩和する場合の2つのケースから最適な解を選択することで、より高いパフォーマンスが達成された。
• 学習者好みが未知の場合の適応的指導について、学習者モデルに自然な仮定を置くことで理論的保証が得られた。
• 実証結果は、好みを考慮することで学習効率と最終的な方策パフォーマンスの両方で測定可能な向上が得られることを確認した。