[논문 리뷰] KernelHaven -- An Experimentation Workbench for Analyzing Software Product Lines

Christian Kröher, Sascha El-Sharkawy외 1명|arXiv (Cornell University)|2021. 10. 12.

Advanced Software Engineering Methodologies참고 문헌 13인용 수 14

한 줄 요약

KernelHaven는 C-프리프로세서 기반 소프트웨어 제품선(SPLs)의 정적 분석을 간소화하기 위해 설계된 오픈소스 실험 작업대이며, 플러그인 아키텍처를 통해 연구자가 복잡한 분석을 효율적으로 조합, 구성 및 실행할 수 있도록 지원합니다. 병렬 처리, 캐싱, 구성 기반 실험 관리 기능을 제공하여 구현 오버헤드를 줄이고 SPL 검증 및 메트릭 평가 분야에서 재현 가능한 연구를 가속화합니다.

ABSTRACT

Systematic exploration of hypotheses is a major part of any empirical research. In software engineering, we often produce unique tools for experiments and evaluate them independently on different data sets. In this paper, we present KernelHaven as an experimentation workbench supporting a significant number of experiments in the domain of static product line analysis and verification. It addresses the need for extracting information from a variety of artifacts in this domain by means of an open plug-in infrastructure. Available plug-ins encapsulate existing tools, which can now be combined efficiently to yield new analyses. As an experimentation workbench, it provides configuration-based definitions of experiments, their documentation, and technical services, like parallelization and caching. Hence, researchers can abstract from technical details and focus on the algorithmic core of their research problem. KernelHaven supports different types of analyses, like correctness checks, metrics, etc., in its specific domain. The concepts presented in this paper can also be transferred to support researchers of other software engineering domains. The infrastructure is available under Apache 2.0: https://github.com/KernelHaven. The plug-ins are available under their individual licenses.

연구 동기 및 목표

• 소프트웨어 제품선(SPL) 분석 분야에서 경험적 소프트웨어 공학 실험을 위한 재사용 가능하고 조합 가능한 인프라의 부족을 해결한다.
• SPL 연구 도구에서 데이터 추출, 캐싱, 병렬 처리, 로깅을 구현하는 데 드는 기술적 부담을 줄인다.
• 구성 기반 작업대를 통해 저수준 시스템 관련 문제를 추상화함으로써 연구자가 알고리즘 혁신에 집중할 수 있도록 돕는다.
• 기존 도구를 플러그인 모델을 통해 통합함으로써 정확도 검증, 메트릭 평가, 기능 영향 분석 등 다양한 분석을 지원한다.
• 표준화된 구성, 문서화, 지속적 데이터 캐싱을 통해 실험의 재현성과 재사용성을 향상시킨다.

제안 방법

• C-프리프로세서 기반 SPL에서 소스 코드, 빌드, 가변성 모델 아티팩트를 위한 세 개의 독립적인 추출 파이프라인을 갖춘 모듈러 아키텍처를 채택한다.
• 플러그인 인프라를 활용해 추출기와 분석기를 캡슐화함으로써 기존 도구와 알고리즘의 재사용 및 조합을 가능하게 한다.
• 구성 기반 실험 정의를 구현하여 연구자가 저수준 프로그래밍 없이도 매개변수, 종속성, 실행 워크플로우를 지정할 수 있도록 한다.
• 여러 스레드에서 추출기와 분석을 실행함으로써 추출기와 분석의 투명한 병렬 처리를 제공하며, 독립적이고 종속적인 작업 실행 모두를 지원한다.
• 모델 요소 수준에서 데이터 캐싱을 통합하여 추출된 데이터(예: AST, 존재 조건)의 직렬화 및 재사용을 가능하게 하여 반복적 또는 유사한 실험의 실행 시간을 단축시킨다.
• CNF 변환 및 SAT 해결(SAT4J를 통한)과 같은 유틸리티 기능을 노출하여 SPL 분석에서 일반적으로 요구되는 작업을 다시 구현하지 않아도 되도록 지원한다.

실험 결과

연구 질문

• RQ1 연구자가 데이터 추출 및 인프라 로직을 다시 구현하지 않고도 소프트웨어 제품선에서 여러 정적 분석을 효율적으로 조합하고 실행할 수 있는 방법은 무엇인가?
• RQ2 재사용 가능한 실험 작업대가 도메인 특화 분석 도구의 개발 및 유지보수 오버헤드를 어느 정도 줄일 수 있는가?
• RQ3 구성 기반, 플러그인 기반 인프라는 경험적 SPL 연구에서 재현성과 모듈성을 향상시키는 데 효과적인가?
• RQ4 캐싱 및 병렬 처리 통합이 반복적 또는 대규모 SPL 실험의 실행 시간을 줄이는 데 얼마나 효과적인가?
• RQ5 KernelHaven의 아키텍처 패턴은 다른 소프트웨어 공학 연구 분야로 일반화되고 채택될 수 있는가?

주요 결과

• KernelHaven는 Linux와 산업용 SPL과 같은 대규모 시스템에서 기능 영향 분석과 같은 복잡한 SPL 분석을 수행함으로써 구현 오버헤드를 줄였다.
• 플러그인 아키텍처 덕분에 TypeChef와 같은 기존 도구를 수정 없이도 원활하게 통합할 수 있어 재사용성이 향상되었다.
• 추출된 모델 요소(예: 구문 트리)의 캐싱은 반복 실험에 있어 실행 시간을 크게 단축시켜 효율성을 향상시켰다.
• 추출기와 분석의 투명한 병렬 처리 덕분에 종속된 컴포onent의 조기 실행이 가능해져 전체 실험 실행 시간이 단축되었다.
• 구성 기반 실험 정의 방식은 재현성과 문서화를 지원하여 경험적 SPL 연구의 과학적 엄밀성을 향상시켰다.
• 이 작업대의 일반적인 설계 원칙은 SPL 분석을 넘어서 다른 소프트웨어 공학 분야로도 확장 가능하여 더 넓은 도입 가능성을 보였다.