[논문 리뷰] Dynamic Code Coverage with Progressive Detail Levels

Alexandre Perez|arXiv (Cornell University)|2013. 06. 19.

Software Testing and Debugging Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 동적 코드 커버리지(DCC)를 제안한다. DCC는 초기에 굵은 단위의 코드 커버리지로 시작하여 중간 장애 진단 결과에 기반해 점진적으로 정밀도를 높이는 새로운 장애 진단 기법으로, 인스트루멘테이션 오버헤드를 줄인다. 기존 스펙트럼 기반 장애 진단(SFL) 기법과 비교해 평균 실행 시간을 27% 감소시키고 진단 보고서 크기를 63% 줄였으며, 진단 정확도는 유지한다.

ABSTRACT

Nowadays, locating software components responsible for observed failures is one of the most expensive and error-prone tasks in the software development process. To improve the debugging process efficiency, some effort was already made to automatically assist the detection and location of software faults. This led to the creation of statistical debugging tools such as Tarantula, Zoltar and GZoltar. These tools use information gathered from code coverage data and the result of test executions to return a list of potential faulty locations. Although helpful, fault localization tools have some scaling problems because of the fine-grained coverage data they need to perform the fault localization analysis. Instrumentation overhead, which in some cases can be as high as 50% is the main cause for their inefficiency. This thesis proposes a new approach to this problem, avoiding as much as possible the high level of coverage detail, while still using the proven techniques these fault localization tools employ. This approach, named DCC, consists of using a coarser initial instrumentation, obtaining only coverage traces for large components. Then, the instrumentation detail of certain components is progressively increased, based on the intermediate results provided by the same techniques employed in current fault localization tools. To assess the validity of our proposed approach, an empirical evaluation was performed, injecting faults in four real-world software projects. The empirical evaluation demonstrates that the DCC approach reduces the execution overhead that exists in spectrum-based fault localization, and even presents a more concise potential fault ranking to the user. We have observed execution time reductions of 27% on average and diagnostic report size reductions of 63% on average.

연구 동기 및 목표

• 스펙트럼 기반 장애 진단(SFL) 도구의 높은 인스트루멘테이션 오버헤드(최대 50%까지 도달할 수 있음)를 줄이기 위해.
• 인스트루멘테이션된 코드의 양을 최소화하면서도 기존 SFL 수준의 진단 정확도를 유지하기 위해.
• 더 간결한 장애 진단 보고서를 생성함으로써 디버깅 효율을 향상시키기 위해.
• 중간 결과에 기반해 군집도를 동적으로 조정하는 반복적 인스트루멘테이션 기법을 탐색하기 위해.
• 실제 소프트웨어 프로젝트에 장애를 주입하여 이론적 접근을 실증적으로 검증하기 위해.

제안 방법

• DCC는 굵은 단위의 인스트루멘테이션으로 시작하여, 클래스와 같은 큰 컴포넌트들에 대해서만 커버리지 데이터를 수집한다.
• 초기 굵은 단위의 데이터에 표준 통계 기반 장애 진단 기법(예: Tarantula, GZoltar)을 적용하여 고확률 장애 컴포넌트를 식별한다.
• 중간 결과를 바탕으로 DCC는 선택된 컴포넌트에 대해 인스트루멘테이션 세부 수준을 동적으로 높여 메서드 또는 문장 수준으로 커버리지 정밀도를 향상시킨다.
• 이 과정은 반복적이다: 장애 가능성 비율이 높은 컴포넌트들만 더 세밀한 수준으로 인스트루멘테이션되며, 전체 인스트루멘테이션 범위가 감소한다.
• 진단 데이터의 점진적 정밀화에 기존 SFL 알고리즘을 사용함으로써 기존 장애 진단 기법과의 호환성을 확보한다.
• 중간 진단 점수에 기반해 각 컴포넌트별로 인스트루멘테이션 군집도를 조정함으로써 적응형 정밀화가 가능하다.

실험 결과

연구 질문

• RQ1 더 세부적인 코드 커버리지 없이도 전통적인 SFL과 동일한 수준의 진단 정확도를 달성할 수 있는가?
• RQ2 점진적 세부 수준을 통해 인스트루멘테이션 오버헤드를 줄이면 디버깅 효율이 향상되는가?
• RQ3 초기 단계에서 굵은 단위의 인스트루멘테이션을 사용하고 이후에 대상별 정밀화를 적용하면 실행 시간과 진단 보고서 크기가 줄어드는가?
• RQ4 인스트루멘테이션 군집도를 동적으로 조정하면 장애 진단 정밀도에 어떤 영향을 미치는가?
• RQ5 DCC 기법은 주입된 장애가 있는 실제 소프트웨어 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• DCC는 기존 SFL 기법과 비교해 평균 실행 시간을 27% 감소시켰다.
• 진단 보고서 크기는 평균 63% 감소하여 더 간결한 장애 순위가 도출되었다.
• 네 개의 실제 소프트웨어 프로젝트에 장애 주입을 통해 검증한 결과, 표준 SFL 수준의 진단 정확도를 유지했다.
• 동적이고 반복적인 정밀화 전략 덕분에 장애 정확도를 훼손하지 않은 채 인스트루멘테이션 대상 코드의 범위를 크게 줄일 수 있었다.
• 낮은 확률의 컴포넌트는 조기에 잘라내어, 필요한 곳에만 인스트루멘테이션을 집중시켰다.
• 실증적 평가를 통해 DCC가 주입된 단일 장애가 있는 실제 소프트웨어 시스템에서 실용적이고 효율적임을 확인했다.