[논문 리뷰] A systematic literature review on process model testing: Approaches, challenges, and research directions

Kristof Böhmer, Stefanie Rinderle‐Ma|arXiv (Cornell University)|2015. 09. 14.

Business Process Modeling and Analysis참고 문헌 26인용 수 6

한 줄 요약

이 체계적 문헌 리뷰는 2002–2013년 사이의 153篇의 논문을 종합하여 프로세스 모델 테스팅에 관한 접근 방식, 과제, 연구 격차를 분석한다. 테스트 케이스 생성 및 적합성 테스팅과 같은 주요 테스팅 유형을 특정하고, 테스트 케이스 생성에 31篇의 연구가 있지만 성능 테스팅에는 단 4篇 뿐이라는 불균형한 연구 분포를 드러내며, 레거시 및 교차 조직 프로세스와 같은 미비하게 다뤄진 분야를 강조한다.

ABSTRACT

Testing is a key concern when developing process-oriented solutions as it supports modeling experts who have to deal with increasingly complex models and scenarios such as cross-organizational processes. However, the complexity of the research landscape and the diverse set of approaches and goals impedes the analysis and advancement of research and the identification of promising research areas, challenges, and research directions. Hence, a systematic literature review is conducted to identify interesting areas for future research and to provide an overview of existing work. Over 6300 potentially matching publications were determined during the search (literature databases, selected conferences\journals, and snowballing). Finally, 153 publications from 2002 to 2013 were selected, analyzed, and classified. It was found that the software engineering domain has influenced process model testing approaches (e.g., regarding terminology and concepts), but recent publications are presenting independent approaches. Additionally, historical data sources are not exploited to their full potential and current testing related publications frequently contain evaluations of relatively weak quality. Overall, the publication landscape is unevenly distributed so that over 31 publications concentrate on test-case generation but only 4 publications conduct performance test. Hence, the full potential of such insufficiently covered testing areas is not exploited. This systematic review provides a comprehensive overview of the interdisciplinary topic of process model testing. Several open research questions are identified, for example, how to apply testing to cross-organizational or legacy processes and how to adequately include users into the testing methods.

연구 동기 및 목표

• 기존의 프로세스 모델 테스팅 접근 방식을 분석하고 관련 연구 분야 및 용어를 특정하기.
• 프로세스 모델 테스팅 분야에서의 주요 과제, 연구 격차 및 향후 연구 방향을 규명하기.
• 특히 평가 품질과 미비하게 다뤄진 테스팅 유형에 초점을 맞춰, 프로세스 모델 테스팅 분야의 연구 품질과 분포를 평가하기.
• 프로세스 모델 테스팅 분야의 최신 연구 전반에 걸친 통합적이고 다학제적 개요를 제공하기.
• 레거시 프로세스, 교차 조직 테스팅, 사용자 통합과 같은 미비하게 다뤄진 분야를 강조하여 향후 연구를 이끌기.

제안 방법

• 다양한 데이터베이스, 선정된 컫퍼런스 및 저널을 활용해 체계적 문헌 리뷰(SLR)를 수행하였다.
• 관련 논문을 식별하기 위해 스노우볼링 및 백워드 인용 추적을 실시하였다.
• 사전 정의된 포함 및 배제 기준을 통해 6,300편 이상의 논문을 선별하였다.
• 관련성과 방법론적 품질을 기준으로 2002년부터 2013년까지 153편의 논문을 선별 및 분석하였다.
• 주제적 및 범주 기반 분석을 통해 연구 유형, 도메인, 연구 초점을 기반으로 연구를 분류하였다.
• 선택된 연구의 평가 품질을 평가하고, 테스팅 유형별 연구 분포를 평가하였다.

실험 결과

연구 질문

• RQ1 2002년부터 2013년까지의 프로세스 모델 테스팅 연구에서 지배적인 접근 방식과 테스팅 유형은 무엇인가?
• RQ2 소프트웨어 공학 개념과 용어는 프로세스 모델 테스팅 접근 방식에 어떻게 영향을 미치는가?
• RQ3 특히 교차 조직 및 레거시 프로세스에 관해, 프로세스 모델 테스팅 분야에서 주요 과제와 연구 격차는 무엇인가?
• RQ4 현재의 프로세스 모델 테스팅 연구에서 역사적 데이터 소스와 사용자 참여는 어느 정도 활용되고 있는가?
• RQ5 문헌 내에서 다양한 테스팅 유형 간에 경험적 평가의 품질은 어떻게 분포되어 있는가?

주요 결과

• 소프트웨어 공학 분야가 초기 프로세스 모델 테스팅 접근 방식에 큰 영향을 미쳤으며, 특히 용어와 기초 개념 측면에서 그렇다.
• 테스트 케이스 생성은 가장 연구가 활발히 이루어진 분야로 31편의 논문이 존재하지만, 성능 테스팅은 극도로 미흡하여 단 4편의 논문에 그친다.
• 현재 논문들의 평가 품질은 종종 낮으며, 부족한 경험적 검증 또는 재현 가능성으로 인해 문제가 된다.
• 테스트 케이스 생성 및 모델 검증 향상 잠재력이 있는 역사적 데이터 소스는 여전히 미흡하게 활용되고 있다.
• 교차 조직 프로세스와 레거시 시스템는 여전히 미비하게 다뤄져 있어 주요 연구 격차로 남아 있다.
• 테스팅 방법에서 사용자 참여는 거의 간과되어 있어, 사용성 중심의 테스팅 접근 방식이 필요하다.