[論文レビュー] A systematic literature review on process model testing: Approaches, challenges, and research directions

Kristof Böhmer, Stefanie Rinderle‐Ma|arXiv (Cornell University)|Sep 14, 2015

Business Process Modeling and Analysis参考文献 26被引用数 6

ひとこと要約

本研究は、2002年から2013年までの153件の出版物を統合した体系的文献レビューであり、プロセスモデルのテストに関するアプローチ、課題、研究ギャップを分析している。テストケース生成や適合性テストといった主なテストタイプを特定し、テストケース生成に関する31件の研究と性能テストに関するたった4件の研究に起因する研究分布の不均衡を明らかにした。また、レガシープロセスやクロスオーガナイゼーションプロセスといった未だに研究が進んでいない分野も指摘している。

ABSTRACT

Testing is a key concern when developing process-oriented solutions as it supports modeling experts who have to deal with increasingly complex models and scenarios such as cross-organizational processes. However, the complexity of the research landscape and the diverse set of approaches and goals impedes the analysis and advancement of research and the identification of promising research areas, challenges, and research directions. Hence, a systematic literature review is conducted to identify interesting areas for future research and to provide an overview of existing work. Over 6300 potentially matching publications were determined during the search (literature databases, selected conferences\journals, and snowballing). Finally, 153 publications from 2002 to 2013 were selected, analyzed, and classified. It was found that the software engineering domain has influenced process model testing approaches (e.g., regarding terminology and concepts), but recent publications are presenting independent approaches. Additionally, historical data sources are not exploited to their full potential and current testing related publications frequently contain evaluations of relatively weak quality. Overall, the publication landscape is unevenly distributed so that over 31 publications concentrate on test-case generation but only 4 publications conduct performance test. Hence, the full potential of such insufficiently covered testing areas is not exploited. This systematic review provides a comprehensive overview of the interdisciplinary topic of process model testing. Several open research questions are identified, for example, how to apply testing to cross-organizational or legacy processes and how to adequately include users into the testing methods.

研究の動機と目的

• 既存のプロセスモデルのテストアプローチを分析し、関連する研究分野および用語を特定すること。
• プロセスモデルのテストにおける研究的課題、ギャップ、今後の研究方向性を特定すること。
• 特に評価の質と未開拓のテストタイプに関して、プロセスモデルのテスト分野における研究の質と分布を評価すること。
• プロセスモデルのテスト分野における最新の研究の包括的で学際的な概要を提供すること。
• レガシープロセス、クロスオーガナイゼーションテスト、ユーザ統合といった未開拓分野を強調することで、今後の研究を導くこと。

提案手法

• 複数のデータベース、選定された国際会議および学術誌を用いて体系的文献レビュー（SLR）を実施した。
• スノーボール法およびバックワード・サイトーション追跡を用いて関連する出版物を同定した。
• 事前に定めた含む・含まない基準に従い、6,300件を超える出版物をスクリーニングした。
• 関連性および方法論的質の観点から、2002年から2013年までの153件の出版物を選定・分析した。
• 主題的およびカテゴリー的分析を用いて、研究をテストタイプ、分野、研究焦点ごとに分類した。
• 選定された研究における評価の質を評価し、テストカテゴリごとの研究分布を評価した。

実験結果

リサーチクエスチョン

• RQ1 2002年から2013年の間、プロセスモデルのテスト研究で主流となっているアプローチとテストタイプは何か？
• RQ2 ソフトウェア工学の概念と用語は、プロセスモデルのテストアプローチにどのように影響を与えているか？
• RQ3 特にクロスオーガナイゼーションプロセスおよびレガシープロセスに関して、プロセスモデルのテストにおける主な研究的課題とギャップは何か？
• RQ4 現在のプロセスモデルのテスト研究では、歴史的データソースおよびユーザ参加がどの程度活用されているか？
• RQ5 文献において、異なるテストタイプごとに、実験的評価の質はどのように分布しているか？

主な発見

• ソフトウェア工学分野が、初期のプロセスモデルのテストアプローチに顕著な影響を与え、特に用語と基盤的概念においてそうである。
• テストケース生成は最も研究が進んでいる分野であり、31件の出版物がある一方、性能テストは著しく未発展であり、わずか4件の出版物にとどまっている。
• 現在の出版物における評価の質は頻繁に低く、十分な実証的検証や再現性が欠けている。
• テストケース生成やモデル検証の向上に寄与する可能性があるにもかかわらず、歴史的データソースは未だに活用が不十分である。
• クロスオーガナイゼーションプロセスやレガシーシステムは未だに研究が進んでいないため、大きな研究ギャップが存在する。
• テスト手法におけるユーザ参加はほとんど無視されており、使いやすさを重視したテストアプローチの開発が求められている。