[论文解读] An Entry Point for Formal Methods: Specification and Analysis of Event Logs

Howard Barringer, Alex Groce+2 more|arXiv (Cornell University)|Mar 8, 2010

Software Testing and Debugging Techniques被引用 8

一句话总结

本文提出使用形式化规范语言分析火星科学实验室任务中已存在的事件日志，实现在无需实时仪器检测的情况下可扩展的运行时验证。通过将日志视为形式化轨迹，并将需求表述为事件序列，作者展示了一种实用方法，利用支持基于模式的规则、状态机和从测试执行中自动学习规范的领域特定语言，对复杂飞行软件进行测试。

ABSTRACT

Formal specification languages have long languished, due to the grave scalability problems faced by complete verification methods. Runtime verification promises to use formal specifications to automate part of the more scalable art of testing, but has not been widely applied to real systems, and often falters due to the cost and complexity of instrumentation for online monitoring. In this paper we discuss work in progress to apply an event-based specification system to the logging mechanism of the Mars Science Laboratory mission at JPL. By focusing on log analysis, we exploit the "instrumentation" already implemented and required for communicating with the spacecraft. We argue that this work both shows a practical method for using formal specifications in testing and opens interesting research avenues, including a challenging specification learning problem.

研究动机与目标

• 解决在真实航空航天系统中形式化验证的可扩展性和实用性挑战。
• 通过利用现有事件日志而非依赖实时仪器检测，实现基于形式化规范的测试。
• 开发一种既具表现力又便于测试工程师使用的领域特定规范语言。
• 探索从成功测试执行中自动学习规范，以减少手动编写规范的工作量。
• 将形式化验证集成到喷气推进实验室（JPL）的飞行软件测试流程中，提升测试的可靠性与可维护性。

提出的方法

• 该方法采用对航天器测试期间生成的事件日志进行离线分析，将日志视为形式化验证的执行轨迹。
• 引入一种领域特定的规范语言，支持基于模式的规则和带参数事件与数据绑定的状态机。
• 将模式语言编译为源自 Ruler 的更富表达力的基于规则的语言，以支持复杂事件序列的验证。
• 通过 Python 编写的用户自定义谓词扩展规范的表达能力，支持对字段值和派生条件的检查。
• 学习功能模块从“良好”测试执行中提取常见执行模式，自动生成可重用的候选规范。
• 使用 Graphviz 可视化规范，违规情况通过日志文件引用报告，以增强可追溯性。

Figure 1: observable events of a system

实验结果

研究问题

• RQ1 能否在不依赖在线仪器检测的前提下，通过使用现有事件日志，有效将形式化规范技术应用于真实航空航天系统？
• RQ2 领域特定语言在多大程度上能够提升测试工程师对形式化规范的可访问性与可维护性？
• RQ3 从成功测试执行中自动学习规范在多大程度上能减少手动编写规范的工作量？
• RQ4 在复杂软件测试工作流中，使用形式化方法进行日志分析具有哪些实际优势？
• RQ5 将形式化方法集成到现有测试流程中，能否提升测试的可靠性并减少错误？

主要发现

• 所提出的方法成功实现了使用预存事件日志对飞行软件进行形式化验证，避免了复杂运行时仪器检测的需要。
• 测试工程师认为该规范语言直观且易于使用，迅速被集成到 MSL 测试流程中。
• 规范学习功能模块通过从“良好”测试执行中自动提取候选规范，显著减轻了编写详细模式的负担。
• 系统能够精确检测规范违规，并将错误轨迹与日志文件关联，显著提升可调试性与可追溯性。
• 该方法在分析复杂航天器系统的大量事件日志方面展现出实际可扩展性。
• 该方法为规范挖掘以及从安全关键系统事件序列中学习开辟了新的研究方向。