[論文レビュー] Inverse Reinforcement Learning via Nonparametric Spatio-Temporal Subgoal Modeling

Adrian Šošić, Elmar Rueckert+3 more|arXiv (Cornell University)|Mar 1, 2018

Reinforcement Learning in Robotics参考文献 55被引用数 8

ひとこと要約

本稿では、空間的・時間的サブゴールを用いて専門家の行動をモデル化するベイジアン非パラメトリック逆強化学習フレームワークを提案する。このフレームワークにより、グローバルな報酬モデルに比べてよりコンactかつ正確なポリシー推定が可能となる。空間的・時間的文脈に基づいてデモをクラスタリングすることで、優れたサブゴール局在化と滑らかなポリシー推定が達成され、特に意図が変化する場合や複雑な軌道を描く状況でも、ベースラインのIRL手法を上回り、不確実性を考慮した予測を通じてアクティブラーニングを支援する。

ABSTRACT

Advances in the field of inverse reinforcement learning (IRL) have led to sophisticated inference frameworks that relax the original modeling assumption of observing an agent behavior that reflects only a single intention. Instead of learning a global behavioral model, recent IRL methods divide the demonstration data into parts, to account for the fact that different trajectories may correspond to different intentions, e.g., because they were generated by different domain experts. In this work, we go one step further: using the intuitive concept of subgoals, we build upon the premise that even a single trajectory can be explained more efficiently locally within a certain context than globally, enabling a more compact representation of the observed behavior. Based on this assumption, we build an implicit intentional model of the agent's goals to forecast its behavior in unobserved situations. The result is an integrated Bayesian prediction framework that significantly outperforms existing IRL solutions and provides smooth policy estimates consistent with the expert's plan. Most notably, our framework naturally handles situations where the intentions of the agent change over time and classical IRL algorithms fail. In addition, due to its probabilistic nature, the model can be straightforwardly applied in active learning scenarios to guide the demonstration process of the expert.

研究の動機と目的

• 逆強化学習におけるグローバル報酬モデルの限界、すなわち専門家のデモにおける局所的行動構造を捉えられない点を是正すること。
• 軌道を文脈依存のサブゴールに分解することで、報酬関数設計における冗長性を低減し、専門家の行動をより効率的にモデル化すること。
• 多様な専門家の行動、特に時間とともに変化する意図を示す行動にも一般化可能な確率的かつ文脈に敏感なフレームワークを構築すること。
• 事後予測分布を用いて予測行動の不確実性を推定することで、不確実性を考慮したアクティブラーニングを可能にすること。
• 最小限のデモデータからコンパクトで解釈可能なサブゴール表現を学習することで、データ効率を向上させること。

提案手法

• 空間的・時間的文脈に基づいてデモ軌道をクラスタリングすることで、サブゴール構造を推定する非パラメトリックベイジアンモデルを導入する。
• ベイジアン非パラメトリックIRL（BNIRL）を拡張し、状態と時間という共変量情報をクラスタリングおよび尤度モデル化プロセスに統合する。
• ギブスサンプリングを用いて、統一された確率的グラフィカルモデル内において、同時にサブゴール位置、各軌道セグメントのサブゴール割り当て、報酬関数を推定する。
• ある特定のサブゴール構造下で、候補となる報酬関数が観測された状態・行動列をどの程度うまく説明できるかを評価する尤度モデルを採用する。
• 静的空間的サブゴールと時間変動型サブゴールの2つのアーキテクチャに分離してモデル化することで、周期的または順序的な行動の柔軟な表現を可能にする。
• サブゴールと報酬の事後分布を活用して予測行動分布を生成し、不確実性を考慮したアクティブラーニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 サブゴールベースのモデリングは、グローバル報酬モデルに比べて、逆強化学習の精度とコンパクト性を向上させることができるか？
• RQ2 空間的・時間的文脈を効果的に活用して、軌道をクラスタリングし、局所的行動的意図を推定する方法は何か？
• RQ3 本フレームワークは、周期的または繰り返しパターンを示すような、意図が時間とともに変化する専門家の行動を処理できるか？
• RQ4 文脈に敏感なサブゴール推定を活用することで、必要な専門家デモの数をどの程度削減できるか？
• RQ5 サブゴールおよびポリシー推定における事後不確実性は、情報豊富なデモ収集クエリを効果的に導くのに活用できるか？

主な発見

• 空間的・時間的文脈をクラスタリングおよび尤度モデルに組み込むことで、本フレームワークは、vanilla BNIRLに比べて顕著にサブゴール局在化の精度を向上させた。
• 本手法は、サイクルや重複する軌道を含む複雑な状況でも、滑らかで専門家の計画と整合性のある行動予測を達成し、より良いポリシー推定を実現した。
• サイクル、ヘビ、花のパターンといったベンチマークタスクにおいて、グローバル報酬モデルが見逃すサブゴール構造を正確に回復した。
• 行動の事後予測分布は信頼性の高い不確実性推定を提供し、情報豊富なデモクエリを特定することで、効果的なアクティブラーニングを可能にした。
• 本モデルは未観測の状況に対しても良好に一般化でき、古典的なIRL手法が剛性のあるグローバル報酬仮定により失敗するような、意図の時間的変化に対しても耐性を示した。