[论文解读] IDS: An Incremental Learning Algorithm for Finite Automata

Muddassar Azam Sindhu, Karl Meinke|arXiv (Cornell University)|Jun 13, 2012

Machine Learning and Algorithms参考文献 8被引用 5

一句话总结

本文提出 IDS，一种用于确定性有限自动机（DFA）的增量学习算法，利用区分序列以逐步方式高效构建假设自动机。该算法在极限下被证明是正确的，并通过实证表明其显著快于非增量方法，且效率更高；其中，前缀闭合 IDS 在学习时间和查询复杂度方面优于前缀自由 IDS，使其非常适合用于软件工程应用，如形式化测试和模型推断。

ABSTRACT

We present a new algorithm IDS for incremental learning of deterministic finite automata (DFA). This algorithm is based on the concept of distinguishing sequences introduced in (Angluin81). We give a rigorous proof that two versions of this learning algorithm correctly learn in the limit. Finally we present an empirical performance analysis that compares these two algorithms, focussing on learning times and different types of learning queries. We conclude that IDS is an efficient algorithm for software engineering applications of automata learning, such as testing and model inference.

研究动机与目标

• 开发一种适合软件工程应用的高效增量 DFA 学习算法。
• 通过使用在线查询实现迭代假设改进，解决离线和非增量学习的局限性。
• 通过重用先前知识并最小化冗余查询，提高学习效率。
• 为 IDS 算法的两种变体（前缀自由和前缀闭合）提供严格的正确性证明。
• 通过实证评估和比较两种 IDS 变体在学习时间和查询复杂度方面的性能。

提出的方法

• IDS 算法使用区分序列定义状态划分，逐步构建假设自动机。
• 它维护一组假设 $ H_0, H_1, \dots $，这些假设在极限下收敛于目标 DFA。
• 提出两种变体：前缀自由 IDS 和前缀闭合 IDS，二者在输入字符串的存储和重用方式上有所不同。
• 通过在观察集 $ P $ 中保持一组实时且完整的输入字符串，避免了对等价预言机的需求。
• 使用近乎线性时间的等价性检查器，在假设与目标匹配时终止学习。
• 通过生成不同规模（5–50 个状态）的随机 DFA 进行实证评估，记录学习时间、成员资格查询和维护查询。

实验结果

研究问题

• RQ1 能否设计一种使用区分序列的 DFA 增量学习算法，使其在极限下正确学习？
• RQ2 在学习时间和查询复杂度方面，IDS 的前缀自由和前缀闭合变体有何差异？
• RQ3 与非增量方法相比，IDS 的增量学习是否减少了成员资格查询和维护查询的数量？
• RQ4 IDS 是否能高效支持软件工程场景中的在线学习，如模型推断和形式化测试？
• RQ5 由于更好的数据重用，前缀闭合 IDS 是否比前缀自由 IDS 更高效？

主要发现

• 前缀闭合 IDS 的平均学习时间接近线性增长，而前缀自由 IDS 随状态数量增加呈现近似二次增长。
• 两种变体的成员资格查询数量均随状态数量近似线性增长，表明其具有可扩展性。
• 两种变体的维护查询数量均近似二次增长，但前缀闭合 IDS 所用的维护查询少于前缀自由 IDS。
• 前缀闭合 IDS 中维护查询与成员资格查询的比率显著更低，从而更有效地利用外部生成的查询（例如来自模型检测器的查询）。
• 实证结果证实，IDS 效率极高，在反应式系统测试中，错误发现速度比非增量学习快达 4000 倍。
• 实证结果表明前缀闭合变体在性能上更优，因此是实际软件工程应用的首选。