[논문 리뷰] Fast Static Analyses of Software Product Lines -- An Example With More Than 42,000 Metrics

Sascha El-Sharkawy, Adam Krafczyk외 1명|arXiv (Cornell University)|2021. 10. 12.

Advanced Software Engineering Methodologies참고 문헌 28인용 수 5

한 줄 요약

이 논문은 소프트웨어 제품선(SPLs)의 빠르고 확장 가능한 정적 분석을 가능하게 하기 위해 감소된 추상구문트리(RASTs)를 사용하는 새로운 부분 분석 기법을 제안한다. 이 기법을 통해 리눅스 커널과 같은 대규모 시스템에서 1초 미만의 메트릭당 성능으로 42,000개 이상의 메트릭 변형—기존의 단일 시스템 메트릭과 변형 인식 메트릭을 모두 포함—을 처리할 수 있다.

ABSTRACT

Context: Software metrics, as one form of static analyses, is a commonly used approach in software engineering in order to understand the state of a software system, in particular to identify potential areas prone to defects. Family-based techniques extract variability information from code artifacts in Software Product Lines (SPLs) to perform static analysis for all available variants. Many different types of metrics with numerous variants have been defined in literature. When counting all metrics including such variants, easily thousands of metrics can be defined. Computing all of them for large product lines can be an extremely expensive process in terms of performance and resource consumption. Objective: We address these performance and resource challenges while supporting customizable metric suites, which allow running both, single system and variability-aware code metrics. Method: In this paper, we introduce a partial parsing approach used for the efficient measurement of more than 42,000 code metric variations. The approach covers variability information and restricts parsing to the relevant parts of the Abstract Syntax Tree (AST). Conclusions: This partial parsing approach is designed to cover all relevant information to compute a broad variety of variability-aware code metrics on code artifacts containing annotation-based variability, e.g., realized with C-preprocessor statements. It allows for the flexible combination of single system and variability-aware metrics, which is not supported by existing tools. This is achieved by a novel representation of partially parsed product line code artifacts, which is tailored to the computation of the metrics. Our approach consumes considerably less resources, especially when computing many metric variants in parallel.

연구 동기 및 목표

• 수천 개의 코드 및 변형 인식 메트릭을 포함한 대규모 소프트웨어 제품선(SPLs) 분석에 따른 높은 계산 비용을 해결하기 위해.
• 기존의 소프트웨어 메트릭과 SPL 전용의 변형 인식 메트릭을 결합한 도구 지원의 부족을 보완하기 위해.
• 메트릭 계산 과정에서 자원 오버헤드를 최소화하여 확장성 있고 고성능의 정적 분석을 가능하게 하기 위해.
• 기능 수준 메트릭과 코드 수준 메트릭의 임의의 조합을 허용하는 융통성 있고 사용자 정의 가능한 메트릭 세트를 지원하기 위해.
• 실세계 시스템에서의 시스템적 평가 기반으로서 MetricHaven과 같은 SPL 메트릭 세트의 체계적 평가를 위한 기반을 제공하기 위해.

제안 방법

• 메트릭 계산에 필요한 핵심 정보를 유지하면서 불필요한 문법적 세부 정보를 추상화하는 감소된 추상구문트리(RASTs)를 도입한다.
• 전처리되지 않은 소스 코드를 직접 파싱하여 C 프리프로세서 지시어와 같은 변형 정보를 손실 없이 유지한다.
• 비필수 언어 구조를 생략함으로써 메모리 및 처리 오버헤드를 줄이는 굵은 단위의 AST 표현을 구성한다.
• RAST를 한 번의 스캔만으로 메트릭 값을 계산하여 CPU 캐싱을 최대한 활용하고 데이터 구조 재구성 횟수를 최소화한다.
• 기능 모델 데이터와 코드 수준 AST를 통합하여 하이브리드 메트릭 계산을 지원함으로써 기능 메트릭과 코드 메트릭을 통합적으로 분석할 수 있도록 한다.
• 일반적인 SPL 메트릭의 요구사항을 고려해 RAST 표현을 특화 설계하였으며, 전체 AST 정밀도가 필요한 메트릭(예: 할스타드 메트릭)은 지원하지 않는다.

실험 결과

연구 질문

• RQ1 단일 시스템 메트릭과 변형 인식 코드 메트릭을 영속적으로 측정하기 위한 요구사항은 무엇인가?
• RQ2 기존의 코드 및 변형 모델에 대한 변형 인식 메트릭을 효과적으로 통합하는 방법은 무엇인가?
• RQ3 다양한 메트릭을 포함한 대규모 SPL 분석을 확장 가능하게 하기 위해 필요한 추상화는 무엇인가?

주요 결과

• 전체 리눅스 커널에 대한 분석 총 소요 시간은 약 6시간 20분으로, 42,000개 이상의 메트릭 변형을 처리하였다.
• 평균적으로 메트릭당 0.76초가 소요되었으며, 29,976개의 메트릭에 대해 기능당 약 0.06초의 메트릭 계산 시간을 기록하였다.
• RAST 기반 파싱은 전체 AST 처리 대비 자원 소비를 크게 줄였으며, 특히 병렬로 많은 수의 메트릭 변형을 분석할 경우 두드러진 효과를 보였다.
• 이 프레임워크는 기존 도구에서 제공하지 못하는 변형 인식 코드 메트릭과 기능 수준 메트릭의 융통성 있는 조합을 성공적으로 지원하였다.
• 단일 스캔 기반의 메트릭 계산 덕분에 강력한 캐싱 활용도를 확보하여 고성능 및 확장성 있는 분석이 가능했다.
• 이 방법은 매우 사용자 정의 가능하여, 분석할 메트릭 수를 줄임으로써 상당한 성능 향상을 이룰 수 있었다.