[論文レビュー] Efficient, Safe, and Probably Approximately Complete Learning of Action Models

Roni Stern, Brendan Juba|arXiv (Cornell University)|May 24, 2017

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、失敗しない軌道のみを用いて、安全で失敗のないモデルフリー計画を実現する保守的でモデルベースの手法を提案する。行動は事前条件と効果の境界を用いて学習される。本稿では、観測された軌道の数が増えるにつれて失敗確率が準線形に減少することを証明し、実行時の失敗なしに、整合的で効率的かつおそらく近似的に完全な計画を達成している。

ABSTRACT

In this paper we explore the theoretical boundaries of planning in a setting where no model of the agent's actions is given. Instead of an action model, a set of successfully executed plans are given and the task is to generate a plan that is safe, i.e., guaranteed to achieve the goal without failing. To this end, we show how to learn a conservative model of the world in which actions are guaranteed to be applicable. This conservative model is then given to an off-the-shelf classical planner, resulting in a plan that is guaranteed to achieve the goal. However, this reduction from a model-free planning to a model-based planning is not complete: in some cases a plan will not be found even when such exists. We analyze the relation between the number of observed plans and the likelihood that our conservative approach will indeed fail to solve a solvable problem. Our analysis show that the number of trajectories needed scales gracefully.

研究の動機と目的

• 事前行動モデルが存在しない環境における計画に取り組み、実行時の失敗が許されないという課題に対処すること。
• 観測された成功軌道のみを用いて、成功が保証される計画を生成する手法を開発すること。
• 保守的行動モデルを学習することで、試行錯誤を回避し、効率的な計画プロセスを実現すること。
• 観測された軌道の数が増えるにつれて成功確率に理論的保証を与えること。
• 整合性と効率性を維持しながら、完全性を緩和することで、高コストまたは制約のある実行環境における実用的適用性を実現すること。

提案手法

• 成功軌道のみを観測することで、各行動の可能な事前条件と効果の集合を境界化して行動モデルを学習する。
• 観測されたすべての事前条件と効果を含み、追加の仮定を一切行わない保守的行動モデルを構築する。
• 標準的な計画形式（例：SAS+）を用いて、学習した保守的モデルを古典的計画問題に変換する。
• 保守的モデル上で既存の古典的プランナを用いて、元の環境で成功が保証される計画を生成する。
• 観測された軌道の数に基づく失敗確率を分析するために、おそらく近似的に正しい（PAC）学習フレームワークを適用する。
• 弱い仮定のもとで、観測された軌道の数が増えるにつれて失敗確率が準線形に減少することを証明する。

実験結果

リサーチクエスチョン

• RQ1 失敗のフィードバックが一切ない状況で、成功軌道のみから安全で保守的な行動モデルを学習できるか？
• RQ2 観測された軌道の数が、有効な計画を成功裏に見つける確率にどのように影響するか？
• RQ3 完全性を放棄することで、整合的かつ効率的な計画を達成できるか、実行時の失敗を回避できるか？
• RQ4 提案手法の成功確率について、どのような理論的保証を提供できるか？
• RQ5 正例と負例の両方を必要とする従来のモデル学習手法と比較して、本手法はどのように異なるか？

主な発見

• 提案手法は整合的である：学習した保守的モデルから生成された計画は、元のモデルフリー設定において必ず成功することが保証される。
• 本手法は効率的であり、コンパイル済みの保守的行動モデル上で既存の古典的プランナを活用している。
• 計画が見つからないのは、保守的モデルが必要な行動を除外している場合に限るが、観測された軌道の数が増えるにつれて、その可能性は急速に低下する。
• ドメインおよび行動構造に関する弱い仮定のもとで、観測された軌道の数が増えるにつれて失敗確率が準線形に減少することが示された。
• 従来の手法が失敗のフィードバックを必要としたり、計算的に非効率であるのに対し、本手法はモデルフリー設定においておそらく近似的に完全（PAC）な学習を達成している。
• 正確なモデルやポリシーを学習する際の非効率性を避けるために、安全な計画に十分なモデルのみを学習することに焦点を当てている。