[논문 리뷰] FPA-Debug: Effective Statistical Fault Localization Considering Fault-proneness Analysis

Farid Feyzi, Esmaeel Nikravan외 1명|arXiv (Cornell University)|2016. 12. 17.

Software Reliability and Analysis Research참고 문헌 16인용 수 3

한 줄 요약

FPA-Debug는 실행 오버헤드를 줄이고 정밀도를 향상시키기 위해 탄성 넷 회귀를 사용하는 고장 발생 가능성 인식 통계적 결함 위치 특정 기법을 제안한다. 공통적인 정확성 문제를 완화하기 위해 조건문을 군집화하고, 위치 기반 정규화를 적용함으로써 시이멘스 테스트 세트에서 높은 정확도로 최소한의 '버그 예측자' 집합을 식별한다. 기존 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The aim is to identify faulty predicates which have strong effect on program failure. Statistical debugging techniques are amongst best methods for pinpointing defects within the program source code. However, they have some drawbacks. They require a large number of executions to identify faults, they might be adversely affected by coincidental correctness, and they do not take into consideration fault-proneness associated with different parts of the program code while constructing behavioral models. Additionally, they do not consider the simultaneous impact of predicates on program termination status. To deal with mentioned problems, a new fault-proneness-aware approach based on elastic net regression, namely FPA-Debug has been proposed in this paper. FPA-Debug employs a clustering-based strategy to alleviate coincidental correctness in fault localization and finds the smallest effective subset of program predicates known as bug predictors. Moreover, the approach considers fault-proneness of code during statistical modeling through applying different regularization parameter to each program predicates depending on its location within program source code. The experimental results on well-known test suite, Siemens, reveal the effectiveness and accuracy of the FPA-Debug.

연구 동기 및 목표

• 통계적 결함 위치 특정의 한계, 즉 높은 실행 비용과 공통 정확성의 영향을 받는 것에 대응하기 위해.
• 소스 코드 위치에 따라 위치별 정규화 파rameter를 할당하여 코드 영역의 고장 발생 가능성 정보를 통계 모델링에 통합하기 위해.
• 프로그램 실패와 강하게 상관관계가 있는 최소한의 조건문 집합인 '버그 예측자'를 식별하기 위해.
• 다중 조건문이 프로그램 종료 상태에 동시에 미치는 영향을 모델링하여 결함 위치 특정 정확도를 향상시키기 위해.
• 대규모 테스트 세트에 의존도를 줄이기 위해 군집화와 적응형 정규화를 통해 민감도와 정밀도를 향상시키기 위해.

제안 방법

• FPA-Debug는 탄성 넷 회귀를 사용하여 프로그램 조건문과 실패 결과 간의 관계를 모델링하며, 특성 선택과 안정성을 위해 L1 및 L2 정규화를 조합한다.
• 유사한 동작을 보이는 조건문을 군집화하는 전략을 적용하여, 테스트 결과에서 발생하는 공통 정확성의 영향을 줄인다.
• 고장 발생 가능성은 소스 코드 위치에 따라 다른 정규화 파rameter를 할당하여 더 오류가 발생하기 쉬운 영역을 우선시한다.
• 탄성 넷 모델의 반복적 최적화를 통해 고장이 발생할 가능성이 가장 높은 조건문, 즉 '버그 예측자'의 최소 집합을 식별한다.
• 다중 조건문이 프로그램 종료 상태에 동시에 미치는 영향을 종합적으로 고려함으로써 결함 위치 특정 정확도를 향상시킨다.
• 실험적 평가는 기준 통계적 결함 위치 특정 기법과의 성능 비교를 위해 시이멘스 테스트 세트를 사용한다.

실험 결과

연구 질문

• RQ1 통계적 결함 위치 특정에 고장 발생 가능성 정보를 통합하면 결함 예측 정밀도가 향상되는가?
• RQ2 조건문 군집화는 결함 위치 특정에서 공통 정확성의 영향을 어떻게 완화하는가?
• RQ3 소스 코드 위치 기반 적응형 정규화는 결함 위치 특정 정확도를 어느 정도 향상시키는가?
• RQ4 실패를 신뢰성 있게 식별할 수 있는 최소 효과적인 조건문 집합(버그 예측자)은 무엇인가?
• RQ5 실행 비용과 정밀도 측면에서 FPA-Debug는 기존 통계적 결함 위치 특정 기법보다 어떻게 비교되는가?

주요 결과

• FPA-Debug는 높은 영향력을 미치는 최소한의 조건문 집합에 집중함으로써 테스트 실행 횟수를 크게 줄여 효율성을 향상시킨다.
• 군집화 전략은 공통 정확성의 영향을 효과적으로 완화하여 더 신뢰할 수 있는 결함 위치 특정 결과를 도출한다.
• 고장 발생 가능성 기반 적응형 정규화는 분석 시 오류 발생 가능성이 높은 영역을 우선시함으로써 모델 정확도를 향상시킨다.
• 시이멘스 테스트 세트에서 기존 통계적 결함 위치 특정 기법보다 고장 조건문 식별 정밀도가 높다.
• FPA-Debug는 프로그램 실패와 강하게 상관관계가 있는 소규모이지만 효과적인 조건문 집합인 '버그 예측자'를 성공적으로 식별한다.
• 실증 결과는 고장 발생 가능성과 군집화의 통합이 통계적 결함 위치 특정의 정확도와 강건성을 모두 향상시킨다는 것을 보여준다.