[논문 리뷰] An Empirical Study of Fault Localization Families and Their Combinations

Daming Zou, Jingjing Liang외 3명|arXiv (Cornell University)|2018. 03. 27.

Software Testing and Debugging Techniques참고 문헌 72인용 수 15

한 줄 요약

이 논문은 Defects4J에서 357宗의 실제 결함을 대상으로 7개의 가족에 속하는 11종의 결함 위치 특정 기법에 대한 실증적 연구를 제시한다. 학습-순위 매기기 기반으로 기법들을 조합하는 데 사용된 제안된 CombineFL 프레임워크는 가장 우수한 단독 기법 대비 상위 1위 결함 위치 특정에서 200% 향상된 성능을 달성하였으며, 다양한 정보 소스를 조합함으로써 효과성이 크게 향상되며 실행 시간의 상충 관계를 고려한 결과임을 입증한다.

ABSTRACT

The performance of fault localization techniques is critical to their adoption in practice. This paper reports on an empirical study of a wide range of fault localization techniques on real-world faults. Different from previous studies, this paper (1) considers a wide range of techniques from different families, (2) combines different techniques, and (3) considers the execution time of different techniques. Our results reveal that a combined technique significantly outperforms any individual technique (200% increase in faults localized in Top 1), suggesting that combination may be a desirable way to apply fault localization techniques and that future techniques should also be evaluated in the combined setting. Our implementation is publicly available for evaluating and combining fault localization techniques.

연구 동기 및 목표

• 실제 소프트웨어 결함에서 다양한 결함 위치 특정 기법의 효과성과 효율성을 평가하기 위해.
• 다른 가족에 속한 결함 위치 특정 기법 간의 상관관계를 조사하고, 그들의 조합 잠재력을 평가하기 위해.
• 성능과 실행 비용의 균형을 고려한 구성가능하고 시간 인지적인 조합 프레임워크(CombineFL)를 설계하고 평가하기 위해.
• 향후 연구에서 결함 위치 특정 기법을 평가하고 조합할 수 있도록 오픈소스 인프라(CombineFL-core)를 제공하기 위해.
• 실행 시간을 측정하고 분류하여 실용적 배포를 위한 지침을 제공하기 위해.

제안 방법

• 7개의 가족에서 온 11종의 결함 위치 특정 기법을 평가한다: 스펙트럼 기반(SBFL), 멀티에이션 기반(MBFL), 동적 프로그램 슬라이싱, 스택 트레이스 분석, 조건식 전환, 정보 검색 기반(IR-based), 이력 기반 기법.
• 다양한 기법들에서 유의미한 점수를 조합하기 위해 학습-순위 매기기 모델을 사용하며, 각 기법을 선형 조합된 점수로 처리하는 데 블랙박스로 간주한다.
• 각 기법의 실행 시간을 측정하고 이를 비용 수준으로 그룹화하여 시간 제약 조건이 있는 조합을 가능하게 한다.
• 평가에는 문장 수준 및 메서드 수준의 정밀도를 모두 고려한 Defects4J 데이터셋을 사용한다.
• 여러 결함 요소가 동시에 존재할 경우 순위가 동일한 경우를 처리하기 위해 새로운 지표인 $E_{\mathit{inspect}}$ 를 도입한다.
• CombineFL-core 인프라는 조합의 자동 평가를 가능하게 하며, 점수와 실행 시간의 표준화된 입력을 통해 신규 기법의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 실제 결함에서 다양한 가족에 속한 개별 결함 위치 특정 기법은 얼마나 효과적인가?
• RQ2 다른 가정에 속한 결함 위치 특정 기법 간의 상관관계는 어떠하며, 그들의 조합 잠재력은 어떠한가?
• RQ3 다양한 정보 소스에서 유래한 기법들을 조합하면 단독 기법 대비 결함 위치 특정 효과성이 크게 향상되는가?
• RQ4 결함 위치 특정 기법 가족 간 실행 시간은 어떻게 변동하는가? 실행 비용은 실용적 조합 전략을 안내하는 데 어떻게 활용될 수 있는가?
• RQ5 조합 기법인 CombineFL은 상위 1위 결함 위치 특정 정확도에서 최신 기술 대비 뛰어나게 성능을 발휘하는가?

주요 결과

• Bugspots와 BugLocator를 제외한 모든 기법이 상위 10위 내에서 6% 이상의 결함를 위치 특정하였으며, SBFL은 상위 10위 내에서 44%를 달성하였다.
• 대부분의 기법들이 약한 상관관계를 보였으며, 특히 서로 다른 가정 간에는 강한 보완적 조합 잠재력이 있음을 시사한다.
• CombineFL은 상위 1위 내에서 결함 위치 특정율을 200% 향상시켰으며, 상위 3, 5, 10위에서는 각각 63%, 51%, 31% 향상된 성과를 기록하였다. 이는 최고의 단독 기법 대비 성능 향상이다.
• CombineFL은 MULTRIC, Savant, FLUCCS, TraPT와 같은 네 가지 최신 기술 대비 상위 1위 위치 특정에서 각각 133%, 167%, 11%, 18% 향상된 성능을 기록하였다.
• 실행 시간은 가족 간에 크게 차이가 났으며, 이를 바탕으로 비용 수준으로 그룹화할 수 있었다. 모든 저비용 기법들을 포함해도 런타임이 증가하지 않았지만 효과성은 향상되었다.
• 기법 조합의 이점은 문장 수준과 메서드 수준 양쪽 모두에서 유지되었으며, 이는 접근 방식의 강건성을 확인한다.