[논문 리뷰] Variable-Based Fault Localization via Enhanced Decision Tree

Jiajun Jiang, Yumeng Wang외 3명|arXiv (Cornell University)|2022. 11. 21.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 프로그램 의존성 기반 결함 지도를 갖춘 의사결정나무를 사용하여 실패한 테스트 런과 성공한 테스트 런을 기반으로 변수 값을 비교함으로써 결함과 관련된 변수를 식별하는 새로운 변수 수준 결함 지도 기법 VarDT를 제안한다. Defects4J에서 평가한 결과, 기존 최고 수준의 기법들보다 최소 247.8% 향상되고 평균적으로 330.5% 향상되어 Top-1에서 결함을 보다 정확히 위치시키며, 잘못된 패치 제거 능력에서 PATCH-SIM을 26.0% 뛰어넘는다.

ABSTRACT

Fault localization, aiming at localizing the root cause of the bug under repair, has been a longstanding research topic. Although many approaches have been proposed in the last decades, most of the existing studies work at coarse-grained statement or method levels with very limited insights about how to repair the bug (granularity problem), but few studies target the finer-grained fault localization. In this paper, we target the granularity problem and propose a novel finer-grained variable-level fault localization technique. Specifically, we design a program-dependency-enhanced decision tree model to boost the identification of fault-relevant variables via discriminating failed and passed test cases based on the variable values. To evaluate the effectiveness of our approach, we have implemented it in a tool called VARDT and conducted an extensive study over the Defects4J benchmark. The results show that VARDT outperforms the state-of-the-art fault localization approaches with at least 247.8% improvements in terms of bugs located at Top-1, and the average improvements are 330.5%. Besides, to investigate whether our finer-grained fault localization result can further improve the effectiveness of downstream APR techniques, we have adapted VARDT to the application of patch filtering, where VARDT outperforms the state-of-the-art PATCH-SIM by filtering 26.0% more incorrect patches. The results demonstrate the effectiveness of our approach and it also provides a new way of thinking for improving automatic program repair techniques.

연구 동기 및 목표

• 문장 수준 또는 메서드 수준과 같은 굵은 수준의 결함 지도보다 변수 수준의 결함 식별을 통해 결함 지도의 해상도 문제를 해결한다.
• 더 정밀하고 효과적인 자동 프로그램 복구(APR)를 위해 더 세밀한 수준의 결함 지도 결과를 제공함으로써 이를 향상시킨다.
• 개발자 간섭 없이 프로그램 의존성과 의사결정나무를 활용하여 결함과 관련된 변수를 식별하는 완전 자동화되고 확장 가능한 기법을 개발한다.
• VarDT의 결함 지도 및 후속 패치 필터링 응용 분야에서의 효과성을 평가한다.

제안 방법

• 실패한 테스트 런과 성공한 테스트 런 간의 변수 값 차이를 분석하여 결함과 관련된 변수를 식별하기 위해 변수 값 기반으로 실패/성공 테스트 런을 구분하는 의사결정나무 모델을 구축한다.
• 정적 프로그램 분석, 즉 프로그램 슬라이싱과 의존성 분석을 통해 의사결정나무를 향상시켜 확장성과 정확도를 높인다.
• 테스트 실행 동안 변수 값 패턴을 입력 특징으로 사용하여 실패 유도 변수 상태를 구분할 수 있도록 의사결정나무를 훈련시킨다.
• 프로그램 의존성을 통합하여 특징 선택을 안내하고 검색 공간을 줄이며, 고장과 강한 인과 관계가 있는 변수에 집중한다.
• Defects4J 벤치마크에서 종단 간 평가를 위해 도구 VarDT로 구현한다.
• 결함과 관련된 변수 프로파일을 사용하여 패치 정확도를 평가함으로써 VarDT를 패치 필터링에 적응시킨다.

실험 결과

연구 질문

• RQ1 실패한 테스트 런과 성공한 테스트 런 간의 변수 값 차이를 분석함으로써 의사결정나무 모델이 효과적으로 결함과 관련된 변수를 식별할 수 있는가?
• RQ2 프로그램 의존성을 통합함으로써 변수 수준의 결함 지도의 확장성과 정확도는 어느 정도 향상되는가?
• RQ3 VarDT는 최고 수준의 기존 결함 지도 기법들에 비해 Top-1 결함 지도 정확도에서 어떻게 성능을 냈는가?
• RQ4 VarDT의 더 세밀한 수준의 결함 지도 결과는 자동 프로그램 복구에서 후속 패치 필터링의 효과성을 향상시킬 수 있는가?

주요 결과

• VarDT는 Defects4J 벤치마크에서 최고 수준의 접근 방식들보다 최소 247.8% 향상되어 Top-1에서 정확한 결함과 관련된 변수를 식별했다.
• 모든 평가 대상 버그에 걸쳐 평균적으로 VarDT는 Top-1 결함 지도 정확도를 330.5% 향상시켰다.
• 패치 필터링에 적응한 결과, VarDT는 잘못된 패치의 69.4%를 성공적으로 제거했으며, 최고 수준의 기법인 PATCH-SIM을 26.0% 뛰어넘었다.
• 프로그램 의존성 분석 통합으로 인해 모델이 관련 변수에 집중하고 불필요한 노이즈를 줄이는 능력이 크게 향상되었다.
• 결과는 변수 수준의 결함 지도가 후속 APR 기법의 정밀도를 직접 향상시킬 수 있는 유의미한 통찰을 제공한다는 것을 입증한다.
• VarDT는 완전히 자동화되어 있으며, 이전의 변수 수준 결함 지도 기법들과 달리 개발자 간섭 없이 작동한다.