[论文解读] Learning STRIPS Operators from Noisy and Incomplete Observations

Kira Mourão, Luke Zettlemoyer+2 more|arXiv (Cornell University)|Oct 16, 2012

AI-based Problem Solving and Planning参考文献 22被引用 64

一句话总结

本文提出一种从噪声大且不完整的观测中学习STRIPS算符的方法：首先训练分类器以建模状态转移，然后从分类器参数中提取可解释的STRIPS规则。在标准规划领域进行评估，该方法在存在现实世界传感器缺陷的情况下仍能成功推断出准确的领域模型，展现出在复杂观测条件下的鲁棒性。

ABSTRACT

Agents learning to act autonomously in real-world domains must acquire a model of the dynamics of the domain in which they operate. Learning domain dynamics can be challenging, especially where an agent only has partial access to the world state, and/or noisy external sensors. Even in standard STRIPS domains, existing approaches cannot learn from noisy, incomplete observations typical of real-world domains. We propose a method which learns STRIPS action models in such domains, by decomposing the problem into first learning a transition function between states in the form of a set of classifiers, and then deriving explicit STRIPS rules from the classifiers' parameters. We evaluate our approach on simulated standard planning domains from the International Planning Competition, and show that it learns useful domain descriptions from noisy, incomplete observations.

研究动机与目标

• 解决在存在部分观测和噪声观测的真实环境中学习领域动态的挑战。
• 实现在完整状态信息不可用时自动学习STRIPS动作模型。
• 弥合现实世界传感器数据与形式化规划表示（如STRIPS）之间的差距。
• 开发一种可扩展且鲁棒的方法，用于从不完美观测中学习规划模型。

提出的方法

• 该方法首先使用一组基于观测到的状态转移训练的二元分类器，学习状态之间的转移函数。
• 每个分类器预测特定命题（状态变量）在状态之间是否发生变化，从而建模动作的影响。
• 随后分析训练后分类器的参数，以提取显式的STRIPS前提条件和效果。
• 该方法采用两阶段流程：(1) 从噪声大且不完整的数据中学习分类器，(2) 从分类器权重中提取规则。
• 利用结构化预测技术，在不确定性下对状态转移中的复杂依赖关系进行建模。
• 该方法在国际规划竞赛的标准领域上进行评估，以检验其准确性和鲁棒性。

实验结果

研究问题

• RQ1 能否从典型真实世界环境中常见的噪声大且不完整的观测中可靠地学习STRIPS算符？
• RQ2 基于分类器的转移建模方法在恢复准确领域动态方面的有效性如何？
• RQ3 所提取的STRIPS规则在标准规划基准测试中的泛化能力和表现程度如何？
• RQ4 该方法如何处理状态转移中的部分可观察性和传感器噪声？

主要发现

• 该方法成功地从模拟规划领域中噪声大且不完整的观测中学习到了可解释的STRIPS算符。
• 尽管存在缺失或损坏的数据，基于分类器的转移模型在预测状态变化方面仍表现出高准确性。
• 所提取的STRIPS规则语义上具有意义，并在标准基准测试中实现了正确的规划行为。
• 该方法在观测噪声和部分状态信息条件下表现出鲁棒性，在此类设置下优于基线方法。