[论文解读] KernelHaven -- An Experimentation Workbench for Analyzing Software Product Lines

Christian Kröher, Sascha El-Sharkawy+1 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Software Engineering Methodologies参考文献 13被引用 14

一句话总结

KernelHaven 是一个开源的实验工作台，旨在简化基于 C 预处理器的软件产品线（SPLs）的静态分析，使研究人员能够通过插件架构高效地组合、配置和执行复杂的分析。它支持并行处理、缓存和基于配置的实验管理，降低了实现开销，加速了 SPL 验证和度量评估中的可重现研究。

ABSTRACT

Systematic exploration of hypotheses is a major part of any empirical research. In software engineering, we often produce unique tools for experiments and evaluate them independently on different data sets. In this paper, we present KernelHaven as an experimentation workbench supporting a significant number of experiments in the domain of static product line analysis and verification. It addresses the need for extracting information from a variety of artifacts in this domain by means of an open plug-in infrastructure. Available plug-ins encapsulate existing tools, which can now be combined efficiently to yield new analyses. As an experimentation workbench, it provides configuration-based definitions of experiments, their documentation, and technical services, like parallelization and caching. Hence, researchers can abstract from technical details and focus on the algorithmic core of their research problem. KernelHaven supports different types of analyses, like correctness checks, metrics, etc., in its specific domain. The concepts presented in this paper can also be transferred to support researchers of other software engineering domains. The infrastructure is available under Apache 2.0: https://github.com/KernelHaven. The plug-ins are available under their individual licenses.

研究动机与目标

• 解决在软件产品线（SPL）分析中，经验性软件工程实验缺乏可重用、可组合基础设施的问题。
• 降低在 SPL 研究工具中实现数据提取、缓存、并行化和日志记录的技术负担。
• 通过基于配置的工作台抽象低层系统问题，使研究人员能够专注于算法创新。
• 通过插件模型集成现有工具，支持多种分析任务（如正确性检查、度量计算和特性影响分析）。
• 通过标准化配置、文档化和持久化数据缓存，促进实验的可重现性和可重用性。

提出的方法

• 采用模块化架构，为 C 预处理器 SPL 中的代码、构建和变体模型构件分别设计三个独立的提取流水线。
• 利用插件基础设施封装提取器和分析器，实现现有工具和算法的重用与组合。
• 通过基于配置的实验定义，使研究人员无需编写低层代码即可指定参数、依赖关系和执行工作流。
• 通过在多个线程上执行提取器和分析任务，实现透明的并行化，支持独立和依赖任务的执行。
• 在模型元素级别集成数据缓存，支持提取数据（如抽象语法树、存在条件）的序列化和重用，以加速重复或相似实验。
• 提供实用函数（如 CNF 转换和 SAT 求解，通过 SAT4J 实现），以支持 SPL 分析中的常见任务，而无需重新实现。

实验结果

研究问题

• RQ1 研究人员如何在不重新实现数据提取和基础设施逻辑的前提下，高效地组合和执行多个静态分析？
• RQ2 可重用的实验工作台在多大程度上减少了领域特定分析工具的开发和维护开销？
• RQ3 基于配置、插件化的基础设施在多大程度上能提升经验性 SPL 研究中的可重现性和模块化水平？
• RQ4 缓存和并行化集成在多大程度上能减少重复或大规模 SPL 实验的执行时间？
• RQ5 KernelHaven 的架构模式在多大程度上可以泛化并应用于其他软件工程研究领域？

主要发现

• KernelHaven 使研究人员能够以更低的实现开销，在 Linux 等大型系统和工业级 SPL 上执行复杂的 SPL 分析（如特性影响分析）。
• 插件架构支持无缝集成现有工具（如用于代码提取的 TypeChef），实现无需修改的重用。
• 对提取的模型元素（如语法树）进行缓存，显著减少了重复实验的执行时间，提升了效率。
• 提取器和分析的透明并行化使得依赖组件能够提前执行，从而减少了整体实验运行时间。
• 基于配置的实验定义支持可重现性和文档化，增强了经验性 SPL 研究的科学严谨性。
• 该工作台的通用设计原则可推广至其他软件工程领域，支持在 SPL 分析之外的更广泛应用。