[논문 리뷰] A Hitchhiker's Guide to Search-Based Software Engineering for Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer외 4명|arXiv (Cornell University)|2014. 06. 11.

Advanced Software Engineering Methodologies참고 문헌 63인용 수 12

한 줄 요약

이 논문은 소프트웨어 제품선(SPLs)에서 검색 기반 소프트웨어 공학(SBSE) 응용에 대한 체계적 맵핑 연구를 제시하며, 핵심 단계, 기법, 평가 관행을 규명한다. 연구는 도메인 엔지니어링 테스팅에서 유전자 알고리즘의 광범위한 사용, 다목적 최적화에 대한 증가하는 관심, 다목적 SBSE에서의 통계적 평가 격차와 함정을 드러내며, 연구자와 실무자에게 실용적인 지침을 제공한다.

ABSTRACT

Search Based Software Engineering (SBSE) is an emerging discipline that focuses on the application of search-based optimization techniques to software engineering problems. The capacity of SBSE techniques to tackle problems involving large search spaces make their application attractive for Software Product Lines (SPLs). In recent years, several publications have appeared that apply SBSE techniques to SPL problems. In this paper, we present the results of a systematic mapping study of such publications. We identified the stages of the SPL life cycle where SBSE techniques have been used, what case studies have been employed and how they have been analysed. This mapping study revealed potential venues for further research as well as common misunderstanding and pitfalls when applying SBSE techniques that we address by providing a guideline for researchers and practitioners interested in exploiting these techniques.

연구 동기 및 목표

• SPL 수명주기 단계 전반에 걸친 SBSE 응용의 범위와 분포를 평가하기 위해.
• SPL 연구에서 가장 자주 사용된 SBSE 기법을 특정하고 새로운 추세를 탐지하기 위해.
• SPL을 위한 실증적 SBSE 연구에서 통계 분석의 적정성을 평가하기 위해.
• SBSE를 위한 SPL 사례 연구를 체계적으로 정리하고, 공동체 기준 기준 설정 가능성을 평가하기 위해.
• 다목적 SBSE 적용 시 일반적인 함정을 식별하고 연구자 및 실무자에게 실용적인 지침을 제공하기 위해.

제안 방법

• Petersen 등이 제시한 표준 5단계 절차에 따라 체계적 맵핑 연구를 수행하였다.
• SPL과 SBSE에 대한 검색어를 정의하였으며, 유전자 알고리즘, 다목적 최적화, 국소 탐색 기법 등을 포함하였다.
• 전문 자료 저장소(SBSE 저장소, 유전적 프로그래밍 문헌목록)와 일반 데이터베이스(IEEE Xplore, ACM, ScienceDirect, SpringerLink, Google Scholar)에서 검색을 수행하였다.
• 142개의 주요 연구를 선별하기 위해 포함 및 배제 기준을 적용하였으며, SBSE 기법 사용, 평가 방법, 사례 연구 등을 분석하였다.
• 다목적 최적화 결과의 변동성을 평가하기 위해 도달 표면(achievement surfaces)을 사용하여 스칼라가 아닌 성능 평가를 제공하였다.
• 통계적 평가의 부족과 다목적 SBSE에서의 일반적인 함정, 특히 수렴성 및 다양성 분석에서의 문제점을 해결하기 위한 지침을 제공하였다.

실험 결과

연구 질문

• RQ1 SBSE 기법은 SPL 수명주기의 어떤 단계에서 사용되었는가?
• RQ2 SPL 연구에서 어떤 SBSE 기법이 사용되었으며, 주목할 만한 기법이나 새로운 추세가 있는가?
• RQ3 SPL을 위한 SBSE 연구에서 어떤 비교 분석이 사용되었으며, 그 적정성은 어떠한가?
• RQ4 어떤 평가 사례 연구가 사용되었으며, 그 기원은 무엇이며 표준화 가능성이 있는가?
• RQ5 SPL에 SBSE 기법을 적용할 때 일반적인 함정은 무엇이며, 특히 다목적 최적화에서 어떤 문제가 있는가?

주요 결과

• SBSE 기법은 도메인 엔지니어링 단계에서 가장 자주 적용되었으며, 특히 조합 상호작용 테스팅과 같은 테스팅 작업에 집중되었다.
• 유전자 알고리즘이 가장 널리 사용된 SBSE 기법이며, 다목적 최적화 접근법으로의 추세가 뚜렷하게 증가하고 있다.
• 많은 연구에서 통계 분석이 부족한 편이며, 특히 다목적 SBSE에서는 수렴성과 다양성이 종종 적절히 평가되지 않는다.
• SBSE를 위한 표준화된 사례 연구가 부족하지만, 몇 가지 공통적으로 사용되는 사례가 확인되어 공동체 수준의 기준 설정 가능성이 제기된다.
• 도메인 구현, 응용 설계, 응용 수준의 테스팅에서는 SBSE의 응용 사례를 발견하지 못하여 연구 기회가 아직 미개척된 상태임을 시사한다.
• 다목적 SBSE에서 결과의 변동성을 분석하기 위해 도달 표면의 사용을 권장하며, 스칼라 지표를 넘는 통찰을 제공한다.