[論文レビュー] Learning Task Specifications from Demonstrations

Marcell Vazquez-Chanlatte, Susmit Jha+3 more|arXiv (Cornell University)|Oct 11, 2017

Machine Learning and Algorithms被引用数 42

ひとこと要約

本稿では、最大エントロピーを用いた最大後験確率（MAP）推論フレームワークを提案し、模倣学習からブール非マルコフ型タスク仕様を学習することで、確率的環境下での安全で構成的なタスク学習を可能にする。この手法は、『濡れている間は充電してはいけない』などの、柔軟性と解釈可能性に優れた論理的構造を持つ仕様を、きめ細かく特定可能であり、スカラー報酬の組み合わせに比べて、耐障害性と解釈可能性の面で優れている。

ABSTRACT

Real world applications often naturally decompose into several sub-tasks. In many settings (e.g., robotics) demonstrations provide a natural way to specify the sub-tasks. However, most methods for learning from demonstrations either do not provide guarantees that the artifacts learned for the sub-tasks can be safely recombined or limit the types of composition available. Motivated by this deficit, we consider the problem of inferring Boolean non-Markovian rewards (also known as logical trace properties or specifications) from demonstrations provided by an agent operating in an uncertain, stochastic environment. Crucially, specifications admit well-defined composition rules that are typically easy to interpret. In this paper, we formulate the specification inference task as a maximum a posteriori (MAP) probability inference problem, apply the principle of maximum entropy to derive an analytic demonstration likelihood model and give an efficient approach to search for the most likely specification in a large candidate pool of specifications. In our experiments, we demonstrate how learning specifications can help avoid common problems that often arise due to ad-hoc reward composition.

研究の動機と目的

• 複雑で時系列に依存するタスクを、部分タスクの安全かつ体系的な組み合わせを可能にする形で、模倣学習から学習する課題に対処すること。
• スカラー型マルコフ報酬の限界を克服すること。これらはしばしば脆い方策を生じさせ、環境変化に対する一般化能力が低い。
• 『濡れている場合にのみ充電を許可しない』といった非マルコフ型制約を捉える、解釈可能で論理的に構造化された仕様（例：LTLに類似した式）の自動推論を可能にすること。
• 部分仕様を独立に学習し、再トレーニングなしに結合可能な、形式的で構成的なフレームワークを提供すること。
• タイルの削除など環境の摂動に対して耐性を持つように、構造的変更に対しても正しさを保証する仕様を学習すること。

提案手法

• 候補概念クラスとしてのブール非マルコフ型仕様の上での最大後験確率（MAP）確率問題として、仕様推論を定式化する。
• 最大エントロピーの原則を適用し、模倣学習データに対する妥当な尤度モデルを導出し、分布の耐障害性を確保するとともに、仮定を最小限に抑える。
• 2値意思決定図（BDD）による記号的符号化を用い、履歴の呪いを回避しながら、非決定的ダイナミクス上での仕様の正確な満たし率を効率的に計算する。
• SATソルバーやハッセ図を活用し、仕様間の部分集合関係を事前に計算することで、探索空間の削減と効率的な候補評価を実現する。
• グリーディ探索アルゴリズムを実装し、概念クラスの約18％（172クエリ）のみを問い合わせる。これはブルートフォース探索に比べて5.5倍の高速化を達成した。
• 動的システム、センサ観測（色）および仕様をすべてBDDに記号的に符号化し、正確な満たし確率を計算することで、尤度推定を高精度に実現する。

実験結果

リサーチクエスチョン

• RQ1 部分タスクの組み合わせにおいて、安全かつ構成可能であることを保証しながら、模倣学習から非マルコフ型タスク仕様を学習することは可能か？
• RQ2 与えられた模倣データセットに対して、解釈可能性を保ちつつ過学習を回避する形で、仕様の尤度をどのようにモデル化できるか？
• RQ3 従来のスカラー報酬を用いた逆強化学習と比較して、仕様推論は環境変化に対する耐障害性をどの程度向上させられるか？
• RQ4 論理的構造や事前知識を活用することで、全列挙なしに大規模な概念クラスを効率的に探索可能か？
• RQ5 ポリシー最適化の過程で不測の行動を避ける観点から、形式的仕様はスカラー報酬関数と比較してどの程度優れているか？

主な発見

• 提案手法は、模倣学習から『濡れている間は充電してはいけない』という制約を捉える正しい仕様 $ H((\text{yellow} \land P~{}\text{blue}) \implies (\neg\text{blue}~{}S~{}\text{brown})) $ を正確に同定した。
• アルゴリズムは概念クラス全体の約18％（172クエリ）の問い合わせのみで実行され、ブルートフォース探索に比べて5.5倍の高速化を達成した。
• 推論された仕様は耐障害性に優れており、たとえば充電タイルを削除するなどの環境変更に対しても正しさを維持した。これに対して、スカラー報酬関数は同様の変更で失敗した。
• 部分仕様の単純な組み合わせ（例：『ラバを避ける』と『濡れている場合は充電前に乾かすこと』）が可能で、両方の制約を同時に満たす統合仕様が得られた。
• 記号的BDDベースの満たし率計算により、履歴依存性に起因する指数的爆発を回避し、正確な尤度推定が可能となった。これにより、履歴依存性があるにもかかわらずスケーラブルなアプローチが実現した。
• 形式的で論理的な仕様が、特に時系列に依存する複雑なタスクにおいて、スカラー報酬よりも解釈可能で安全であることが示された。