[論文レビュー] Learning STRIPS Operators from Noisy and Incomplete Observations

Kira Mourão, Luke Zettlemoyer+2 more|arXiv (Cornell University)|Oct 16, 2012

AI-based Problem Solving and Planning参考文献 22被引用数 64

ひとこと要約

本論文では、ノイズが多く不完全な観測からSTRIPS作用素を学習する手法を提案する。まず、状態遷移をモデル化する分類器を訓練し、その後で分類器のパラメータから解釈可能なSTRIPS規則を抽出する。標準的な計画領域で評価された結果、現実のセンサの不完全性にもかかわらず、正確なドメインモデルを効果的に推定でき、困難な観測条件下でも頑健であることが示された。

ABSTRACT

Agents learning to act autonomously in real-world domains must acquire a model of the dynamics of the domain in which they operate. Learning domain dynamics can be challenging, especially where an agent only has partial access to the world state, and/or noisy external sensors. Even in standard STRIPS domains, existing approaches cannot learn from noisy, incomplete observations typical of real-world domains. We propose a method which learns STRIPS action models in such domains, by decomposing the problem into first learning a transition function between states in the form of a set of classifiers, and then deriving explicit STRIPS rules from the classifiers' parameters. We evaluate our approach on simulated standard planning domains from the International Planning Competition, and show that it learns useful domain descriptions from noisy, incomplete observations.

研究の動機と目的

• 部分的でノイズの多い観測が典型的な現実世界環境におけるドメインダイナミクスの学習という課題に対処すること。
• 完全な状態情報が入手できない状況下で、自動的にSTRIPSアクションモデルを学習できること。
• 現実世界のセンサデータと、STRIPSのような形式的計画表現との間のギャップを埋めること。
• 不完全な観測から計画モデルを学習するスケーラブルで頑健な手法を開発すること。

提案手法

• まず、観測された状態遷移に基づいてトレーニングされたバイナリ分類器を用いて、状態間の遷移関数を学習する。
• 各分類器は、特定のフレーセント（状態変数）が状態間で変化するかどうかを予測し、作用の影響をモデル化する。
• トレーニング済み分類器のパラメータを分析して、明示的なSTRIPS事前条件と効果を抽出する。
• 2段階のパイプラインを採用する：(1) ノイズが多く不完全なデータからの分類器学習、(2) 分類器の重みからのルール抽出。
• 不確実性下での状態遷移における複雑な依存関係をモデル化するために、構造的予測技術を活用する。
• 国際計画コンペティションの標準ドメインを用いて、精度と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く不完全な観測から、現実世界環境に一般的なSTRIPS作用素を信頼性高く学習できるか？
• RQ2 分類器ベースの遷移モデルアプローチは、正確なドメインダイナミクスを回復するのにどの程度有効か？
• RQ3 抽出されたSTRIPS規則は、どの程度一般化され、標準的な計画ベンチマークで性能を発揮できるか？
• RQ4 この手法は、部分的観測とセンサノイズを伴う状態遷移に対して、どのように対処するか？

主な発見

• 本手法は、シミュレートされた計画ドメインにおいて、ノイズが多く不完全な観測から解釈可能なSTRIPS作用素を効果的に学習できた。
• 欠損または破損したデータが存在する中でも、分類器ベースの遷移モデルは状態変化の予測において高い精度を達成した。
• 抽出されたSTRIPS規則は意味的に意味があり、標準ベンチマークで正しい計画行動を引き起こした。
• 本手法は観測ノイズや部分的状態情報に対して頑健であり、同様の状況下でベースライン手法を上回った。