[论文解读] Model Learning: A Survey on Foundation, Tools and Applications

Shahbaz Ali, Hailong Sun+1 more|arXiv (Cornell University)|Dec 6, 2018

Software Testing and Debugging Techniques参考文献 151被引用 4

一句话总结

本综述论文全面概述了模型学习——特别是主动自动机学习——作为一种技术，用于自动推断黑盒软硬件系统的行为模型。它回顾了基础算法、LearnLib等工具，以及在测试、验证和遗留系统分析中的应用，突出显示该技术在无需访问源代码的情况下，通过形式化分析提升安全关键系统可靠性的潜力。

ABSTRACT

The quality and correct functioning of software components embedded in electronic systems are of utmost concern especially for safety and mission-critical systems. Model-based testing and formal verification techniques can be employed to enhance the reliability of software systems. Formal models form the basis and are prerequisite for the application of these techniques. An emerging and promising model learning technique can complement testing and verification techniques by providing learned models of black box systems fully automatically. This paper surveys one such state of the art technique called model learning which recently has attracted much attention of researchers especially from the domains of testing and verification. This survey paper reviews and provides comparison summaries highlighting the merits and shortcomings of learning techniques, algorithms, and tools which form the basis of model learning. This paper also surveys the successful applications of model learning technique in multidisciplinary fields making it promising for testing and verification of realistic systems.

研究动机与目标

• 为解决缺乏源代码或最新文档的黑盒系统验证与测试挑战。
• 识别并分析主动与被动模型学习技术，从系统交互中推断出形式化行为模型。
• 评估现有模型学习工具与算法在实际应用中的能力与局限性。
• 探索将模型学习与形式化验证及测试技术结合，以提升系统可靠性的方法。
• 识别模型学习中的开放挑战与未来研究方向，包括更丰富的建模形式化语言与增强的工具支持。

提出的方法

• 基于Angluin的L*算法及其扩展，调研最先进的主动自动机学习技术。
• 根据支持的形式化语言（如DFA、Mealy机、寄存器自动机）以及数据处理与非确定性支持等特性，对学习算法进行分类。
• 分析模型学习工具，特别是LearnLib，其对各种建模形式化语言的支持、可扩展性，以及与测试和验证流程的集成能力。
• 比较主动学习与被动学习方法，强调主动学习中交互的优势，可更完整地发现系统行为。
• 评估反例驱动的细化与等价性检查在提升模型准确性和完整性方面的作用。
• 调研在API一致性检查、回归测试、组件集成以及遗留系统逆向工程等领域的实际应用。

实验结果

研究问题

• RQ1 现代黑盒系统模型学习中使用的关键算法基础与形式化语言是什么？
• RQ2 当系统行为部分可观测时，主动学习技术与被动学习在完备性与鲁棒性方面有何差异？
• RQ3 当前模型学习工具在处理复杂系统行为（如数据操作与时间约束）方面的能力与局限性是什么？
• RQ4 在哪些实际应用中，模型学习已展现出在测试与验证方面的可衡量优势？
• RQ5 哪些未来研究方向对推动模型学习向工业级应用发展最为关键？

主要发现

• 模型学习，尤其是主动自动机学习，可在无需源代码或详细文档的情况下，实现对黑盒系统行为模型的全自动推断。
• 主动学习技术显著优于被动学习，通过动态查询系统，从而降低了因遗漏测试路径而导致模型不完整或错误的风险。
• 工具如LearnLib支持DFA、Mealy机和寄存器自动机等多种形式化语言，并持续扩展以支持更丰富的系统行为。
• 模型学习已成功应用于回归测试、API一致性检查以及遗留系统与第三方组件的集成测试。
• 尽管已有进展，当前算法在建模复杂数据操作（如超越相等比较的操作）方面仍有限制，表明需要更先进的抽象技术。
• 未来工作应聚焦于结合白盒与黑盒学习、改进非确定性系统的等价性检查，以及扩展工具以支持无限字母表与实时约束。