[论文解读] A Theory of Formal Synthesis via Inductive Learning

Susmit Jha, Sanjit A. Seshia|arXiv (Cornell University)|May 15, 2015

Machine Learning and Algorithms参考文献 25被引用 14

一句话总结

本文提出了一种通过基于预言机引导的归纳合成（OGIS）实现形式化归纳合成的理论框架，重点聚焦于反例引导的归纳合成（CEGIS）这一关键实例。该研究根据反例类型和内存约束，对CEGIS变体的合成能力进行表征，并将收敛速度与有限概念类中的教学维数相联系，为正确性构建的程序合成建立了基础理论。

ABSTRACT

Formal synthesis is the process of generating a program satisfying a high-level formal specification. In recent times, effective formal synthesis methods have been proposed based on the use of inductive learning. We refer to this class of methods that learn programs from examples as formal inductive synthesis. In this paper, we present a theoretical framework for formal inductive synthesis. We discuss how formal inductive synthesis differs from traditional machine learning. We then describe oracle-guided inductive synthesis (OGIS), a framework that captures a family of synthesizers that operate by iteratively querying an oracle. An instance of OGIS that has had much practical impact is counterexample-guided inductive synthesis (CEGIS). We present a theoretical characterization of CEGIS for learning any program that computes a recursive language. In particular, we analyze the relative power of CEGIS variants where the types of counterexamples generated by the oracle varies. We also consider the impact of bounded versus unbounded memory available to the learning algorithm. In the special case where the universe of candidate programs is finite, we relate the speed of convergence to the notion of teaching dimension studied in machine learning theory. Altogether, the results of the paper take a first step towards a theoretical foundation for the emerging field of formal inductive synthesis.

研究动机与目标

• 建立形式化归纳合成的理论基础，将其与传统机器学习区分开来。
• 将基于预言机引导的归纳合成（OGIS）形式化为统一框架，用于整合利用预言机指导学习的合成方法。
• 分析在不同反例类型和内存约束（有界与无界）下，CEGIS变体的相对合成能力。
• 将形式化归纳合成中的收敛速度与机器学习理论中的教学维数相联系。
• 识别在各种约束下理解形式化归纳合成的复杂性和能力的开放性问题。

提出的方法

• 提出OGIS作为形式化归纳合成的一般性框架，其中学习者通过迭代查询预言机来优化候选程序。
• 将CEGIS建模为OGIS的一个具体实例，利用验证预言机在候选程序未能满足规范时返回反例。
• 基于返回的反例类型（例如，最小反例、全部反例）分析CEGIS变体，揭示其在合成能力上的差异。
• 为学习递归语言的CEGIS提供形式化表征，确立合成可能的条件。
• 使用教学维数来衡量在有限概念类中唯一识别某一概念所需的最少示例数。
• 证明在有限概念类中，最小化查询次数的形式化归纳合成问题是NP难的。

实验结果

研究问题

• RQ1 在概念类、学习算法和学习目标方面，形式化归纳合成与传统机器学习在本质上有什么不同？
• RQ2 返回不同类型反例的CEGIS变体之间，其相对合成能力如何？
• RQ3 学习引擎中的有界内存在多大程度上影响正确程序的合成能力？
• RQ4 教学维数在多大程度上可以预测形式化归纳合成中收敛所需的示例数量？
• RQ5 对于有限概念类，形式化归纳合成中查询效率的理论极限是什么？

主要发现

• 在有限概念类中，最小化形式化归纳合成查询次数的问题是NP难的。
• 教学维数为在有限概念类中唯一识别某一概念所需的最少示例数提供了下界。
• 返回更具信息量反例的CEGIS变体（例如，最小反例或全部反例）的合成能力，严格强于仅返回一个反例的变体。
• 在有界内存条件下，即使在无界内存下能够收敛，学习引擎也可能无法收敛，凸显了实际实现中的关键权衡。
• 对于有限概念类，教学维数给出了精确学习所需最少示例数的紧致界，其上下界以VC维数和类大小表示。
• 理论分析表明，教学维数与VC维数相关，前者为形式化归纳合成中的样本复杂性提供了一种组合度量。