[논문 리뷰] A Comparison of 10 Sampling Algorithms for Configurable Systems

Flávio Medeiros, Christian Kästner외 3명|arXiv (Cornell University)|2016. 02. 05.

Software Engineering Research참고 문헌 45인용 수 7

한 줄 요약

이 논문은 다양한 가정 조건 하에서 구성 가능한 C 시스템을 대상으로 10개의 샘플링 알고리즘을 평가하여 결함 탐지 능력과 샘플 세트 크기 간의 상호 관계를 비교한다. 연구 결과, 가장 단순한 알고리즘인 most-enabled-disabled가 가장 높은 효율성을 보이며, 제약 조건을 고려한 분석은 상당한 오버헤드를 유발하고 실제로는 대부분의 알고리즘을 비가능하게 만든다.

ABSTRACT

Almost every software system provides configuration options to tailor the system to the target platform and application scenario. Often, this configurability renders the analysis of every individual system configuration infeasible. To address this problem, researchers have proposed a diverse set of sampling algorithms. We present a comparative study of 10 state-of-the-art sampling algorithms regarding their fault-detection capability and size of sample sets. The former is important to improve software quality and the latter to reduce the time of analysis. In a nutshell, we found that sampling algorithms with larger sample sets are able to detect higher numbers of faults, but simple algorithms with small sample sets, such as most-enabled-disabled, are the most efficient in most contexts. Furthermore, we observed that the limiting assumptions made in previous work influence the number of detected faults, the size of sample sets, and the ranking of algorithms. Finally, we have identified a number of technical challenges when trying to avoid the limiting assumptions, which questions the practicality of certain sampling algorithms.

연구 동기 및 목표

• 구성 가능한 시스템을 위한 최신 10개의 샘플링 알고리즘의 결함 탐지 능력과 샘플 세트 크기를 평가하고 비교하는 것.
• 제약 조건, 헤더 파일, 빌드 시스템 정보를 忽시하고, 파일 단위 분석을 사용하는 등의 제한된 가정 조건이 알고리즘 성능에 미치는 영향을 조사하는 것.
• 실제 구성 가능한 시스템에서 분석 노력(샘플 세트 크기)과 결함 탐지 효과성 간의 실용적 트레이드오프를 규명하는 것.
• 글로벌 분석, 헤더 파일에서의 구성 옵션 수집, 빌드 시스템 메타데이터 통합의 타당성과 영향을 평가하는 것.

제안 방법

• Linux 커널, Gcc, BusyBox, Apache 등에서 보고된 이전 연구를 바탕으로 한 135개의 알려진 구성 관련 결함을 포함한 24개의 오픈소스 C 프로젝트에서 10개의 샘플링 알고리즘(5개의 t-wise 변형, 문장 커버리지, 무작위, 하나 비활성화, 하나 활성화, 대부분 활성화 비활성화)을 평가.
• 유리한 가정(제약 조건 忽시, 헤더 파일 忽시, 빌드 시스템 정보 忽시, 파일 단위 분석) 하에서 수행한 연구와 제약 조건, 글로벌 분석, 헤더 파일 포함을 포함한 현실적인 가정 하에서 수행한 연구의 두 가지 연구를 실시.
• Linux 커널, Gcc, BusyBox, Apache 등의 시스템에서 보고된 135개의 알려진 구성 관련 결함을 포함한 코퍼스를 사용.
• 샘플 세트 크기의 함수로 결함 탐지 비율을 측정하여, 다양한 가정 조건과 구성에서 알고리즘 간의 성능을 비교.
• 제약 조건 처리, 글로벌 범위, 빌드 시스템 정보가 샘플 세트 크기와 결함 탐지 능력에 미치는 영향을 분석.
• 샘플 세트 크기와 결함 탐지 능력의 균형을 잘 맞춘 새로운 알고리즘 조합을 식별하고 평가.

실험 결과

연구 질문

• RQ1 이dealized 가정 조건 하에서 다양한 샘플링 알고리즘이 결함 탐지 능력과 샘플 세트 크기 측면에서 어떻게 비교되는가?
• RQ2 제약 조건, 헤더 파일, 빌드 시스템 정보를 忽시하는 등의 가정이 샘플링 알고리즘의 성능과 실현 가능성에 어떤 영향을 미치는가?
• RQ3 글로벌 분석이나 헤더 파일에서의 구성 옵션 포함이 결함 탐지 능력을 얼마나 향상시키며, 샘플 세트 크기 측면에서 어떤 비용이 발생하는가?
• RQ4 실제 적용에서 샘플 세트 크기와 결함 탐지 능력 간의 최적 트레이드오프를 제공하는 알고리즘 조합은 무엇인가?
• RQ5 실제 시스템 특성(예: 제약 조건, 빌드 시스템)이 샘플링 알고리즘의 실용성에 어떤 영향을 미치는가?

주요 결과

• 모든 샘플링 알고리즘이 알려진 135개의 구성 관련 결함 중 최소 66%를 탐지했으며, 대부분의 알고리즘은 80% 이상을 탐지했다.
• 샘플 세트가 더 큰 알고리즘이 더 많은 결함을 탐지했지만, 가장 단순한 알고리즘인 most-enabled-disabled는 매우 작은 샘플 세트로도 높은 결함 탐지율을 달성하여 대부분의 상황에서 가장 효율적인 것으로 나타났다.
• 구성 옵션 간 제약 조건을 포함시키면 분석 시간이 크게 증가했고, 특히 three-wise 및 four-wise 알고리즘은 조합 폭발로 인해 종종 비가능해졌다.
• 글로벌 분석과 헤더 파일에서의 구성 옵션 포함은 샘플 세트 크기를 크게 증가시켜 대부분의 알고리즘을 실생활 사용에 비가능하게 만들었다.
• 빌드 시스템 정보는 샘플 세트 크기에 미미한 영향을 미쳤지만, 복잡한 분석 과제를 유발했다.
• 샘플 세트 크기와 결함 탐지 능력의 유용한 균형을 제공하는 새로운 알고리즘 조합을 식별하였으며, 기존 접근 방식에 대한 실용적인 대안을 제시했다.