[论文解读] A Hitchhiker's Guide to Search-Based Software Engineering for Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer+4 more|arXiv (Cornell University)|Jun 11, 2014

Advanced Software Engineering Methodologies参考文献 63被引用 12

一句话总结

本文针对软件产品线（SPLs）中的搜索优化软件工程（SBSE）应用，开展了一项系统性映射研究，识别出关键阶段、技术及评估实践。研究发现，遗传算法在领域工程测试中被广泛使用，多目标优化的兴趣持续增长，同时揭示了多目标SBSE在统计评估方面的缺口与陷阱，并为研究人员和实践者提供了实用指南。

ABSTRACT

Search Based Software Engineering (SBSE) is an emerging discipline that focuses on the application of search-based optimization techniques to software engineering problems. The capacity of SBSE techniques to tackle problems involving large search spaces make their application attractive for Software Product Lines (SPLs). In recent years, several publications have appeared that apply SBSE techniques to SPL problems. In this paper, we present the results of a systematic mapping study of such publications. We identified the stages of the SPL life cycle where SBSE techniques have been used, what case studies have been employed and how they have been analysed. This mapping study revealed potential venues for further research as well as common misunderstanding and pitfalls when applying SBSE techniques that we address by providing a guideline for researchers and practitioners interested in exploiting these techniques.

研究动机与目标

• 评估SBSE应用在SPL生命周期各阶段的广度与分布情况。
• 识别SPL研究中最常使用的SBSE技术，并发现新兴趋势。
• 评估经验性SBSE研究中用于SPLs的统计分析是否充分。
• 整理SBSE在SPLs中应用的案例研究，并评估其建立社区基准的潜力。
• 识别在多目标SBSE中常见的陷阱，并为研究人员和实践者提供实用指南。

提出的方法

• 遵循Petersen等人提出的标准五步流程，开展系统性映射研究。
• 为SPLs和SBSE定义了检索术语，包括遗传算法、多目标优化和局部搜索技术。
• 在专业数据库（SBSE Repository、遗传编程文献库）和通用数据库（IEEE Xplore、ACM、ScienceDirect、SpringerLink、Google Scholar）中执行检索。
• 应用纳入与排除标准筛选出142项原始研究，分析其在SBSE技术使用、评估方法和案例研究方面的内容。
• 使用达成面（attainment surfaces）评估多目标优化结果的变异性，提供超越标量指标的算法性能非标量评估。
• 提供一份指南，以应对统计评估的不足及多目标SBSE中的常见陷阱，尤其在收敛性与多样性分析方面。

实验结果

研究问题

• RQ1 SBSE技术在SPL生命周期的哪些阶段被应用？
• RQ2 SPL研究中使用了哪些SBSE技术？是否存在主导性或新兴趋势？
• RQ3 SBSE研究中采用何种类型的对比分析？其充分性如何？
• RQ4 使用了哪些评估案例研究？其来源是什么？是否具备标准化潜力？
• RQ5 在将SBSE技术应用于SPLs时，尤其是在多目标优化中，存在哪些常见陷阱？

主要发现

• SBSE技术最常应用于领域工程阶段，尤其在组合交互测试等测试任务中。
• 遗传算法是最常使用的SBSE技术，且向多目标优化方法的使用趋势持续增长。
• 许多研究缺乏充分的统计分析，尤其在多目标SBSE中，收敛性与多样性常未得到恰当评估。
• SBSE在SPLs中缺乏标准化的案例研究，尽管识别出若干常用案例，表明其具备发展为社区基准的潜力。
• 在领域实现、应用设计或应用级测试中未发现SBSE应用，表明这些领域存在尚未充分探索的研究机会。
• 建议使用达成面作为分析多目标SBSE结果变异性的一种工具，可提供超越标量指标的洞察。