[论文解读] Learning Task Specifications from Demonstrations

Marcell Vazquez-Chanlatte, Susmit Jha+3 more|arXiv (Cornell University)|Oct 11, 2017

Machine Learning and Algorithms被引用 42

一句话总结

本文提出了一种基于最大后验概率（MAP）的推理框架，结合最大熵方法，从示范中学习布尔非马尔可夫任务规范，实现在随机环境中的安全且可组合的任务学习。该方法能高效识别出稳健、逻辑结构清晰的规范——例如‘湿的时候不要充电’——其在鲁棒性和可解释性方面优于临时设计的奖励组合。

ABSTRACT

Real world applications often naturally decompose into several sub-tasks. In many settings (e.g., robotics) demonstrations provide a natural way to specify the sub-tasks. However, most methods for learning from demonstrations either do not provide guarantees that the artifacts learned for the sub-tasks can be safely recombined or limit the types of composition available. Motivated by this deficit, we consider the problem of inferring Boolean non-Markovian rewards (also known as logical trace properties or specifications) from demonstrations provided by an agent operating in an uncertain, stochastic environment. Crucially, specifications admit well-defined composition rules that are typically easy to interpret. In this paper, we formulate the specification inference task as a maximum a posteriori (MAP) probability inference problem, apply the principle of maximum entropy to derive an analytic demonstration likelihood model and give an efficient approach to search for the most likely specification in a large candidate pool of specifications. In our experiments, we demonstrate how learning specifications can help avoid common problems that often arise due to ad-hoc reward composition.

研究动机与目标

• 解决从示范中学习复杂、具有时间依赖性的任务的挑战，以支持子任务的安全且系统化的组合。
• 克服标量马尔可夫奖励的局限性，后者常导致策略脆弱、产生非预期行为，并在环境变化下泛化能力差。
• 实现对可解释、逻辑结构清晰的规范（例如LTL类公式）的自动推断，以捕捉非马尔可夫约束，如‘仅在变干后才可充电’。
• 提供一个形式化且可组合的框架，使得子规范可独立学习，并组合成联合规范而无需重新训练。
• 通过学习在结构变化下仍保持正确性的规范，确保对环境扰动（如移除瓷砖）的鲁棒性。

提出的方法

• 将规范推断建模为在布尔非马尔可夫规范候选概念类上的最大后验概率（MAP）概率问题。
• 应用最大熵原理，推导出演示的可处理似然模型，确保分布鲁棒性并最小化假设。
• 通过二元决策图（BDDs）进行符号编码，以高效计算在展开动态下的规范精确满足率，避免历史灾难。
• 利用SAT求解器和哈塞图预计算规范之间的子集关系，实现搜索空间剪枝与高效候选评估。
• 实现一种贪心搜索算法，仅查询约18%的概念类（172次查询），显著优于暴力搜索（提速5.5倍）。
• 将动态、传感器观测（颜色）和规范符号编码为BDD，以计算精确的满足概率，实现精确的似然估计。

实验结果

研究问题

• RQ1 我们能否以确保子任务组合时的可组合性与安全性的方式，从示范中学习非马尔可夫任务规范？
• RQ2 如何在保持可解释性并避免过拟合的前提下，建模给定一组示范下规范的似然性？
• RQ3 与使用标量奖励的传统逆强化学习相比，规范推断在应对环境变化时能多大程度提升鲁棒性？
• RQ4 我们能否在不进行穷举枚举的情况下，通过利用逻辑结构和先验知识，高效搜索大规模规范概念类？
• RQ5 在策略优化过程中，使用形式化规范与标量奖励函数相比，能否更有效地避免非预期行为？

主要发现

• 所提方法成功从示范中推断出正确规范 $ H((\text{yellow} \land P~{}\text{blue}) \implies (\neg\text{blue}~{}S~{}\text{brown})) $，准确捕捉了‘湿时不要充电’的约束。
• 该算法仅在概念类上进行了172次查询（约占18%），相比暴力搜索实现5.5倍的速度提升。
• 推断出的规范具有鲁棒性：即使环境发生变化（如移除充电瓷砖），其正确性仍被保持，而标量奖励函数在类似变化下则失效。
• 该方法实现了子规范的简单组合——例如‘避开熔岩’和‘充电前先干燥’——形成联合规范，同时满足两个约束。
• 基于BDD的符号化满足率计算实现了精确的似然估计，避免了指数爆炸，使该方法在存在历史依赖性的情况下仍具可扩展性。
• 该方法表明，形式化、逻辑化的规范比标量奖励更可解释、更安全，尤其在复杂、具有时间依赖性的任务中表现更优。