[论文解读] Learning Linear Temporal Properties

Daniel Neider, Ivan Gavran|arXiv (Cornell University)|Jun 11, 2018

Formal Methods in Verification参考文献 16被引用 5

一句话总结

本文提出了两种新颖的算法，用于从系统行为的正负样本中学习线性时序逻辑（LTL）公式。第一种算法利用SAT求解来寻找最小的一致LTL公式，而第二种算法将基于SAT的学习与决策树归纳相结合，以在牺牲最小公式大小的微小代价下，实现对数百个样本的可扩展性。其主要贡献在于提出了一种实用且可扩展的方法，用于从系统执行中挖掘人类可读的时序规范。

ABSTRACT

We present two novel algorithms for learning formulas in Linear Temporal Logic (LTL) from examples. The first learning algorithm reduces the learning task to a series of satisfiability problems in propositional Boolean logic and produces a smallest LTL formula (in terms of the number of subformulas) that is consistent with the given data. Our second learning algorithm, on the other hand, combines the SAT-based learning algorithm with classical algorithms for learning decision trees. The result is a learning algorithm that scales to real-world scenarios with hundreds of examples, but can no longer guarantee to produce minimal consistent LTL formulas. We compare both learning algorithms and demonstrate their performance on a wide range of synthetic benchmarks. Additionally, we illustrate their usefulness on the task of understanding executions of a leader election protocol.

研究动机与目标

• 为解决在复杂系统（如分布式协议）中从系统执行中逆向工程时序属性的挑战。
• 开发一种学习框架，从系统行为的正负样本中生成简洁且人类可理解的LTL公式。
• 在公式最小化与可扩展性之间取得平衡，使方法能够应用于包含数百个样本的实际场景。
• 为调试、规范挖掘以及类似领导选举协议等系统中的时序行为逆向工程提供实用工具。

提出的方法

• 基于SAT的算法通过构建随公式大小n递增的公式ΦS_n，将LTL公式学习问题转化为命题可满足性问题，通过检查可满足性来寻找最小的一致LTL公式。
• 每个可满足的ΦS_n对子公式结构和样本分类施加约束，从而可通过模型提取获得最小LTL公式。
• 基于决策树的算法首先使用基于SAT的方法在样本子集上学习一组LTL原原子（小型一致公式）。
• 然后利用决策树学习器将这些原原子组合成布尔组合，以对完整数据集进行分类，从而在公式大小与可扩展性之间进行权衡。
• 该方法采用如子集选择（例如，策略α，其中k=3）等策略，以确保原原子能有效区分正负样本，同时保持足够的泛化能力以生成紧凑的决策树。
• 两种算法均在合成基准和真实世界案例研究（包括一个领导选举协议）上进行了评估，训练数据通过人工构造轨迹生成。

实验结果

研究问题

• RQ1 我们能否自动学习到最小的LTL公式，以区分有限轨迹中的正确与错误系统执行？
• RQ2 如何在保持可读性的前提下，将LTL公式学习扩展到包含数百个样本的实际场景？
• RQ3 将基于SAT的学习与决策树归纳相结合，能否产生实用、可扩展且易于理解的时序规范？
• RQ4 子集选择策略对所学决策树模型性能与紧凑性有何影响？

主要发现

• 基于SAT的算法通过将问题简化为一系列命题可满足性查询，成功学习到最小的LTL公式，在子公式数量上保证了最小性。
• 基于决策树的算法显著提升了可扩展性，能够处理数百个样本，但不再保证公式大小最小。
• 在领导选举协议的案例研究中，该算法发现了公式¬recv(2,1) U comm(1)，准确捕捉了一致与不一致执行之间的关键差异。
• 采用策略α和子集大小k=3的基于决策树的方法取得了最佳性能，在公式大小与可扩展性之间实现了良好平衡。
• 所学公式为系统行为提供了可操作的洞察，例如识别出消息时序是异步协议中不一致性的根本原因。