[论文解读] A systematic literature review on process model testing: Approaches, challenges, and research directions

Kristof Böhmer, Stefanie Rinderle‐Ma|arXiv (Cornell University)|Sep 14, 2015

Business Process Modeling and Analysis参考文献 26被引用 6

一句话总结

本篇系统性文献回顾综合分析了2002至2013年间153篇关于流程模型测试的出版物，探讨了相关方法、挑战与研究空白。研究识别出测试类型如测试用例生成与合规性测试，揭示了研究分布不均——测试用例生成有31项研究，而性能测试仅有4项——并突出了诸如遗留流程与跨组织流程等尚未充分探索的研究领域。

ABSTRACT

Testing is a key concern when developing process-oriented solutions as it supports modeling experts who have to deal with increasingly complex models and scenarios such as cross-organizational processes. However, the complexity of the research landscape and the diverse set of approaches and goals impedes the analysis and advancement of research and the identification of promising research areas, challenges, and research directions. Hence, a systematic literature review is conducted to identify interesting areas for future research and to provide an overview of existing work. Over 6300 potentially matching publications were determined during the search (literature databases, selected conferences\journals, and snowballing). Finally, 153 publications from 2002 to 2013 were selected, analyzed, and classified. It was found that the software engineering domain has influenced process model testing approaches (e.g., regarding terminology and concepts), but recent publications are presenting independent approaches. Additionally, historical data sources are not exploited to their full potential and current testing related publications frequently contain evaluations of relatively weak quality. Overall, the publication landscape is unevenly distributed so that over 31 publications concentrate on test-case generation but only 4 publications conduct performance test. Hence, the full potential of such insufficiently covered testing areas is not exploited. This systematic review provides a comprehensive overview of the interdisciplinary topic of process model testing. Several open research questions are identified, for example, how to apply testing to cross-organizational or legacy processes and how to adequately include users into the testing methods.

研究动机与目标

• 分析现有的流程模型测试方法，识别相关研究领域与术语。
• 识别流程模型测试中的研究挑战、空白以及未来研究方向。
• 评估流程模型测试领域内研究的质量与分布，特别是评估质量与未充分探索的测试类型。
• 提供流程模型测试领域最先进研究的全面、跨学科概览。
• 通过突出遗留流程、跨组织测试与用户整合等尚未充分探索的领域，为未来研究提供指导。

提出的方法

• 通过多个数据库、选定的会议与期刊，开展系统性文献回顾（SLR）。
• 通过滚雪球法与反向引用追踪，识别相关出版物。
• 依据预设的纳入与排除标准，筛选超过6,300篇出版物。
• 基于相关性与方法论质量，从2002至2013年期间选定并分析153篇出版物。
• 采用主题分析与分类分析，按测试类型、领域与研究重点对研究进行分类。
• 评估所选研究中评估质量，并分析各类测试类型的研究分布情况。

实验结果

研究问题

• RQ1 2002至2013年间，流程模型测试研究中占主导地位的方法与测试类型有哪些？
• RQ2 软件工程概念与术语在多大程度上影响了流程模型测试方法？
• RQ3 流程模型测试中的主要研究挑战与空白是什么，特别是针对跨组织与遗留流程？
• RQ4 当前流程模型测试研究在多大程度上利用了历史数据源与用户参与？
• RQ5 文献中不同测试类型在实证评估质量方面的分布情况如何？

主要发现

• 软件工程领域显著影响了早期流程模型测试方法，特别是在术语与基础概念方面。
• 测试用例生成是研究最集中的领域，有31项出版物，而性能测试则严重不足，仅有4项出版物。
• 当前出版物中的评估质量普遍偏低，缺乏充分的实证验证或可复现性。
• 尽管历史数据源具有提升测试用例生成与模型验证的潜力，但其利用仍不足。
• 跨组织流程与遗留系统仍属研究空白，表明存在重大研究缺口。
• 测试方法中对用户参与的忽视，表明亟需发展以可用性为导向的测试方法。