[论文解读] Learning Timed Automata via Genetic Programming

Martin Tappler, Bernhard K. Aichernig+2 more|arXiv (Cornell University)|Aug 23, 2018

Software Testing and Debugging Techniques参考文献 42被引用 7

一句话总结

本文提出一种基于遗传编程的方法，通过突变、交叉和适应度评估，从时间轨迹中自动学习确定性时序自动机（TAs），以演化出与测试数据一致的模型。该方法在44个系统（包括真实系统和随机生成的示例）上成功学习到TAs，展现出强大的泛化能力和收敛性，证明了其在黑箱实时系统建模中的可行性。

ABSTRACT

Model learning has gained increasing interest in recent years. It derives behavioural models from test data of black-box systems. The main advantage offered by such techniques is that they enable model-based analysis without access to the internals of a system. Applications range from fully automated testing over model checking to system understanding. Current work focuses on learning variations of finite state machines. However, most techniques consider discrete time. In this paper, we present a method for learning timed automata, finite state machines extended with real-valued clocks. The learning method generates a model consistent with a set of timed traces collected by testing. This generation is based on genetic programming, a search-based technique for automatic program creation. We evaluate our approach on 44 timed systems, comprising four systems from the literature and 40 randomly generated examples.

研究动机与目标

• 为解决从黑箱系统观测中学习时序自动机缺乏可扩展且有效技术的问题。
• 开发一种无需访问系统内部信息即可支持实时系统建模的模型学习框架。
• 通过扩展至带时钟的时序系统，克服现有有限状态自动机学习方法的局限性。
• 在手动设计和随机生成的时序自动机上评估该方法的鲁棒性和泛化能力。
• 探索使用进化计算学习复杂实时系统行为的可行性。

提出的方法

• 该方法使用遗传编程从通过被动测试收集的一组时间轨迹中演化确定性时序自动机（TAs）。
• 设计了自定义适应度函数，评估候选TAs与所提供时间轨迹的匹配程度，衡量符合度和结构准确性。
• 突变算子通过修改TA的组件（如状态、转移、守卫和时钟重置）来探索搜索空间。
• 交叉操作通过交换两个父代TAs的结构组件，生成具有潜在更优适应度的新后代。
• 该算法通过选择与替换迭代演化TAs种群，持续选择高适应度模型。
• 该方法默认为被动方式，但未来可集成主动测试以通过反馈进一步优化模型。

实验结果

研究问题

• RQ1 遗传编程能否在不了解系统结构的前提下，仅从时间轨迹中有效学习确定性时序自动机？
• RQ2 所学习的TAs在独立生成的测试数据上泛化能力如何，是否避免了过拟合？
• RQ3 遗传编程方法在多样化时序自动机（包括合成和真实世界示例）上的可扩展性和收敛行为如何？
• RQ4 突变和交叉算子如何促进正确TA模型的发现？
• RQ5 该方法能否扩展以支持主动学习和模型检查集成，从而提升准确性？

主要发现

• 遗传编程框架成功学习到与全部44个测试案例一致的确定性时序自动机，包括四个手动创建的系统和40个随机生成的系统。
• 所学习的模型在独立生成的测试数据上表现出良好的泛化能力，表明其具有强鲁棒性且过拟合程度低。
• 该方法在多样化系统类型中均实现了可靠的收敛，确认了适应度评估和遗传算子的有效性。
• 该方法在黑箱实时系统建模中表现出可扩展性和有效性，即使在未知状态数量或系统结构的情况下亦成立。
• 突变、交叉以及细粒度适应度评估的集成，实现了对模型空间的高效探索和准确的模型推断。
• 结果表明，遗传编程是学习实时系统中复杂时序行为的一种可行且灵活的方法。