[论文解读] Learning Universally Quantified Invariants of Linear Data Structures

Pranav Garg, Christof Löding+2 more|arXiv (Cornell University)|Feb 9, 2013

Machine Learning and Algorithms被引用 12

一句话总结

本文提出了量化数据自动机（QDA），一种新颖的自动机模型，用于学习线性数据结构（如数组和列表）中的全称量化不变量。该文提出了一种多项式时间的主动学习算法用于QDA，并引入了一个可判定的子类——弹性QDA，其能够实现高效的不变量合成，并具有唯一的最小上界近似，从而支持通过SMT求解器进行验证。

ABSTRACT

We propose a new automaton model, called quantified data automata over words, that can model quantified invariants over linear data structures, and build poly-time active learning algorithms for them, where the learner is allowed to query the teacher with membership and equivalence queries. In order to express invariants in decidable logics, we invent a decidable subclass of QDAs, called elastic QDAs, and prove that every QDA has a unique minimally-over-approximating elastic QDA. We then give an application of these theoretically sound and efficient active learning algorithms in a passive learning framework and show that we can efficiently learn quantified linear data structure invariants from samples obtained from dynamic runs for a large class of programs.

研究动机与目标

• 解决自动合成操纵线性数据结构（如数组和列表）的程序中复杂全称量化不变量的挑战。
• 通过引入一个可判定且可学习的形式化系统，克服一般量化逻辑不变量在被动学习和不可判定性方面的局限。
• 通过将主动学习与一个唯一的最小上界近似相结合，实现高效且可靠不变量学习，从而映射到可判定的逻辑片段。
• 通过将学习到的QDA映射到已知的可判定逻辑（如数组属性片段和Strand逻辑），弥合表达性强的不变量表示与实际验证之间的差距。

提出的方法

• 提出量化数据自动机（QDA）作为在数据字上表示全称量化不变量的正规形式，其中每个数据字均标注了全称量化变量的赋值。
• 通过抽象将QDA的主动学习问题转化为学习公式字（即与数据公式配对的数据字），并利用Angluin的L*算法学习确定性有限自动机。
• 引入弹性QDA——QDA的一个可判定子类，可被转换为已知的可判定逻辑（如数组属性片段、Strand逻辑），以支持验证。
• 证明唯一最小上界近似定理：每个QDA都存在一个唯一的最小弹性QDA对其实施上界近似，从而实现精确且安全的上界近似。
• 通过从动态程序运行中构建不精确教师，将主动学习框架应用于被动学习场景，实现在有限样本下高效学习不变量。
• 在一套程序（包括堆排序和内核级数据结构操作等复杂程序）上实现并评估该方法，使用基于SMT的验证来检验学习到的不变量。

实验结果

研究问题

• RQ1 我们能否为线性数据结构上的全称量化不变量设计一个多项式时间的主动学习算法？
• RQ2 是否存在QDA的一个可判定子类，能够同时支持高效学习和通过SMT求解器进行验证？
• RQ3 每个QDA是否都能被一个唯一的最小弹性QDA所上界近似，从而确保安全且最优的上界近似？
• RQ4 主动学习框架能否有效适应从动态程序运行中进行的被动学习，以在不进行完整程序分析的情况下推断不变量？
• RQ5 该方法能否学习到复杂不变量（如堆排序或内核级数据结构中的不变量），这些不变量超出了现有白盒不变量合成技术的能力范围？

主要发现

• 所提出的QDA主动学习算法在规范QDA大小的多项式时间内运行，支持对复杂量化不变量的高效学习。
• 唯一最小上界近似定理确保：对于任意QDA，均存在一个唯一的最小弹性QDA对其实施上界近似，从而实现精确且安全的验证。
• 弹性QDA可被有效转换为可判定逻辑（如数组属性片段和Strand逻辑），从而支持使用SMT求解器进行自动化验证。
• 原型实现成功在18个多样化程序上学习到了不变量，包括堆排序和内核级列表操作等复杂程序，每个示例的学习时间均低于1秒。
• 所有学习到的不变量均通过SMT求解器验证为正确，验证时间始终低于1秒，证明了其实际可用性。
• 学习到的不变量具有复杂性和表达力——例如，list-find的不变量编码了列表已排序且搜索键小于当前指针之后的所有元素——但依然能够被高效且准确地学习到。