[논문 리뷰] Towards a Benchmark and a Comparison Framework for Combinatorial Interaction Testing of Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer외 4명|arXiv (Cornell University)|2014. 01. 21.

Advanced Software Engineering Methodologies참고 문헌 27인용 수 10

한 줄 요약

이 논문은 소프트웨어 제품선(SPLs)에서 조합 상호작용 테스팅(CIT)을 위한 19개의 기능 모델 벤치마크를 제안하고, Perrouin 등이 제안한 비교 프레임워크를 CASA, ICPL, PGS 세 가지 CIT 알고리즘을 사용하여 평가한다. 주요 기여는 기존 프레임워크의 한계를 규명한 것으로, 특히 선택되지 않은 기능을 무시하는 유사도 측정법과 평균 빈도의 집계 명확성 부족을 지적하며, CASA가 가장 작은 테스트 세트를 생성하고 ICPL가 가장 빠르며 가장 높은 제품 이질성을 보임을 보여준다.

ABSTRACT

As Software Product Lines (SPLs) are becoming a more pervasive development practice, their effective testing is becoming a more important concern. In the past few years many SPL testing approaches have been proposed, among them, are those that support Combinatorial Interaction Testing (CIT) whose premise is to select a group of products where faults, due to feature interactions, are more likely to occur. Many CIT techniques for SPL testing have been put forward; however, no systematic and comprehensive comparison among them has been performed. To achieve such goal two items are important: a common benchmark of feature models, and an adequate comparison framework. In this research-in-progress paper, we propose 19 feature models as the base of a benchmark, which we apply to three different techniques in order to analyze the comparison framework proposed by Perrouin et al. We identify the shortcomings of this framework and elaborate alternatives for further study.

연구 동기 및 목표

• 소프트웨어 제품선(SPLs)에서 조합 상호작용 테스팅(CIT) 기법을 체계적으로 평가하기 위한 표준화된 기능 모델 벤치마크를 수립하기 위해.
• Perrouin 등이 제안한 CIT 알고리즘 평가를 위한 비교 프레임워크의 타당성과 효과성을 평가하기 위해.
• 특히 유사도 및 빈도 측정법에서의 기존 측정 지표의 한계를 규명하여 향후 개선 방향을 제시하기 위해.
• 더 많은 기능 모델을 통합하고 선별 기준을 정교화하여 향후 연구의 기반을 마련하기 위해.

제안 방법

• 저자들은 다양한 구조적 복잡성을 반영하는 19개의 기능 모델을 수집하여 SPL 테스팅을 위한 표준화된 벤치마크로 제안하였다.
• 이 벤치마크를 활용해 세 가지 CIT 알고리즘—CASA, ICPL, PGS—를 평가하였으며, 주로 쌍방향 테스팅을 중심으로 분석하였다.
• Perrouin 등이 제안한 비교 프레임워크를 사용하였으며, 이는 테스트 세트 크기, 실행 시간, 유사도(제품 이질성)의 세 가지 지표를 기반으로 알고리즘을 평가한다.
• 튜플 빈도는 다음 공식을 사용해 계산되었다: $ \frac{1}{|TS|} \sum_{ts \in TS} \frac{ocurrence(ts,tCA)}{|tCA|} $.
• 차이의 통계적 유의성을 평가하기 위해 $ \hat{A}_{12} $ 비모수적 검정을 사용하여 벤치마크 전반에서 알고리즘 성능을 비교하였다.
• 이론적 분석을 통해 평균 튜플 빈도는 특정 기능 모델의 구조와는 무관하게 총 기능 수와 유효한 t-세트 수에만 의존한다는 것이 확인되었다.

실험 결과

연구 질문

• RQ1 Perrouin 등이 제안한 비교 프레임워크는 SPL의 CIT 알고리즘 평가에 얼마나 효과적인가?
• RQ2 이 프레임워크의 유사도 측정법은 선택되지 않은 기능을 어떻게 다루는가? 특히 이에 따른 한계는 무엇인가?
• RQ3 다양한 알고리즘 간의 집계 측정으로서의 튜플 빈도 측정법은 어떤 성능을 보이는가?
• RQ4 어느 CIT 알고리즘이 가장 작은 테스트 세트를 생성하고, 가장 빠른 실행 시간을 기록하며, 가장 이질적인 제품을 생성하는가?
• RQ5 이 벤치마크 모델들은 실제 SPL의 복잡성과 다양성을 얼마나 잘 반영하고 있는가?

주요 결과

• CASA는 모든 기능 모델에서 가장 작은 테스트 세트를 생성하여 테스트 케이스 축소 효율성이 매우 높음을 보였다.
• ICPL는 실행 시간 측면에서 가장 빠른 알고리즘이었으며, 테스트 생성 성능이 뛰어났다.
• ICPL는 또한 유사도 측정법을 통해 가장 이질적인 제품을 생성하여 다양한 기능 조합의 커버리지가 뛰어나다는 점을 시사했다.
• Perrouin 프레임워크의 유사도 측정법은 제품에 포함되지 않은 기능을 고려하지 않아, 왜곡되거나 오해의 소지가 있는 비교를 유도할 수 있다.
• 튜플 빈도 측정법은 집계 측정으로서의 명확성이 떨어지며, 이는 각 튜플별로만 정의되어 있어 다른 테스트 세트 간 일관되게 해석되지 않기 때문이다.
• 이론적 분석을 통해 평균 튜플 빈도는 특정 모델의 구조와는 무관하게 총 기능 수와 유효한 t-세트 수에만 의존한다는 것이 확인되었다.