[论文解读] Distributed CTL Model Checking in the Cloud

Carlo Bellettini, Matteo Camilli+2 more|arXiv (Cornell University)|Oct 24, 2013

Formal Methods in Verification参考文献 37被引用 22

一句话总结

本文提出了一种基于Hadoop MapReduce的分布式CTL模型检测框架，利用云计算资源在大规模状态空间上实现形式化验证的可扩展性。通过将CTL模型检测重新表述为基于不动点计算的迭代MapReduce作业，该方法实现了高度可扩展性，并在大型基准测试中表现出超线性加速，有效弥合了形式化方法与大数据技术之间的鸿沟。

ABSTRACT

The recent extensive availability of "big data" platforms calls for a more widespread adoption by the formal verification community. In fact, formal verification requires high performance data processing software for extracting knowledge from the unprecedented amount of data which come from analyzed systems. Since cloud based computing resources have became easily accessible, there is an opportunity for verification techniques and tools to undergo a deep technological transition to exploit the new available architectures. This has created an increasing interest in parallelizing and distributing verification techniques. In this paper we introduce a distributed approach which exploits techniques typically used by the "big data" community to enable verification of Computation Tree Logic (CTL) formulas on very large state spaces using distributed systems and cloud computing facilities. The outcome of several tests performed on benchmark specifications are presented, thus showing the convenience of the proposed approach.

研究动机与目标

• 通过利用基于云的分布式计算资源来解决模型检测中的状态爆炸问题。
• 降低形式化验证工具在分布式环境中的部署与工程复杂度，以服务于形式化方法社区。
• 将大数据处理模式——特别是Hadoop MapReduce——适配到形式化验证领域。
• 实现对具有非常大规模状态空间的复杂系统的可扩展、'一键式'验证。
• 证明使用基于云的MapReduce进行CTL模型检测的可行性及其性能优势。

提出的方法

• 该方法将CTL模型检测重新表述为一系列基于时态算子不动点刻画（例如，Gφ = μZ·(φ ∧ XZ)）的迭代MapReduce作业。
• 使用基于哈希的分区函数将状态和转移划分到集群中，以确保负载均衡。
• Map任务为每个状态计算本地不动点近似值，输出键值对，其中键为状态，值为中间结果。
• Reduce任务对各分区的结果进行聚合，迭代地精炼不动点计算，直至收敛。
• MapReduce中的shuffle阶段实现了高效的节点间通信与同步，无需显式消息传递。
• 该框架基于Hadoop实现，可无缝集成至Amazon EC2等云基础设施。

实验结果

研究问题

• RQ1 基于MapReduce的并行处理能否有效扩展CTL模型检测以应对极大规模状态空间？
• RQ2 在大型基准测试中，基于MapReduce的模型检测器性能与传统单机工具相比如何？
• RQ3 MapReduce固有的数据并行性在多大程度上可被利用以克服形式验证中的状态爆炸问题？
• RQ4 使用基于云的Hadoop集群是否能为分布式模型检测提供实用的'一键式'体验？
• RQ5 分区策略对分布式CTL模型检测中通信开销与整体性能有何影响？

主要发现

• 所提出的框架成功扩展至极大规模状态空间，表现出在基于云的集群中有效的负载均衡。
• 实验表明，该方法在某些情况下实现了超线性加速，表明具有强大的并行效率。
• MapReduce中shuffle阶段的耗时并未主导整体执行时间，支持该方法的可行性。
• 该框架通过抽象化底层云部署复杂性，实现了分布式模型检测的'一键式'体验。
• 使用Hadoop MapReduce使得与现有大数据基础设施和云平台的集成变得简单。
• 该方法可推广至多种形式化模型（例如，Petri网、过程演算），只要状态空间可表示为键值对即可。