[논문 리뷰] Entropy Guided Spectrum Based Bug Localization Using Statistical Language Model

Saikat Chakraborty, Yujian Li외 3명|arXiv (Cornell University)|2018. 02. 20.

Software Engineering Research참고 문헌 48인용 수 7

한 줄 요약

이 논문은 스펙트럼 기반 버그 로컬라이제이션(SBL)의 정확도를 향상시키기 위해 통계적 언어 모델을 활용해 코드 엔트로피를 측정하는 하이브리드 접근법인 EnSpec을 제안한다. SBL 점수와 엔트로피 기반 의심도를 결합함으로써, 특히 낮은 커버리지 테스트 환경에서 SBL보다 우수한 성능을 보이며, 자바와 C 프로젝트 모두에서 효과를 입증한다.

ABSTRACT

Locating bugs is challenging but one of the most important activities in software development and maintenance phase because there are no certain rules to identify all types of bugs. Existing automatic bug localization tools use various heuristics based on test coverage, pre-determined buggy patterns, or textual similarity with bug report, to rank suspicious program elements. However, since these techniques rely on information from single source, they often suffer when the respective source information is inadequate. For instance, the popular spectrum based bug localization may not work well under poorly written test suite. In this paper, we propose a new approach, EnSpec, that guides spectrum based bug localization using code entropy, a metric that basically represents naturalness of code derived from a statistical language model. Our intuition is that since buggy code are high entropic, spectrum based bug localization with code entropy would be more robust in discriminating buggy lines vs. non-buggy lines. We realize our idea in a prototype, and performed an extensive evaluation on two popular publicly available benchmarks. Our results demonstrate that EnSpec outperforms a state-of-the-art spectrum based bug localization technique.

연구 동기 및 목표

• 테스트 셋의 코드 커버리지가 낮거나 버그가 있는 라인을 구분하지 못할 때 SBL의 한계를 해결하기 위해.
• 통계적 언어 모델을 통해 비자연스러움을 측정하는 코드 엔트로피가 버그 코드를 식별하는 신뢰할 수 있는 독립적인 신호로 기능할 수 있는지 조사하기 위해.
• 버그 보고서나 광범위한 테스트 커버리지에 의존하지 않고도 소스 코드만으로 작동하는 언어에 관계없는 하이브리드 버그 로컬라이제이션 기법을 개발하기 위해.
• SBL와 엔트로피를 결합한 방법이 내부 프로젝트 및 프로젝트 간 버그 로컬라이제이션 환경에서 얼마나 효과적인지 평가하기 위해.

제안 방법

• 소스 코드를 기반으로 n-gram 통계적 언어 모델을 훈련시어 각 프로그램 라인의 엔트로피를 계산하며, 높은 엔트로피는 자연스럽지 않음과 더불어 버그가 있을 가능성이 높음을 의미한다.
• 통과 및 실패한 테스트의 커버리지 데이터를 사용해 표준 스펙트럼 기반 의심도 점수를 계산한다.
• 기계 학습 모델(예: 로지스틱 회귀)을 사용해 엔트로피 점수와 SBL 의심도 점수를 결합하여 최종적으로 의심스러운 라인의 순위를 매긴다.
• 엔트로피와 스펙트럼 정보를 모두 반영하는 하이브리드 스코링 함수를 사용해 순위 정밀도를 향상시킨다.
• 공개 벤치마크인 Defects4J(자바)와 ManyBugs(C)를 사용해 평가하며, 500개 이상의 버그와 3,715개의 버그 라인을 포함한다.
• 기존 버그 데이터가 제한된 실세계 환경에서의 일반화 능력과 강건성을 평가하기 위해 프로젝트 간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 통계적 언어 모델에서 유도된 코드 엔트로피가 버그 코드의 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ2 SBL에 엔트로피를 결합하면 SBL 단독 대비 버그 로컬라이제이션 정확도가 향상되는가?
• RQ3 기존 버그 데이터가 제한된 상황에서 EnSpec은 프로젝트 간 버그 로컬라이제이션에서 어떻게 성능을 발휘하는가?
• RQ4 제안된 방법은 자바와 C와 같은 다양한 프로그래밍 언어 간에 효과적이고 일반화 가능한가?

주요 결과

• EnSpec은 추가적인 의심도 신호로 코드 엔트로피를 통합함으로써 표준 SBL보다 버그 로컬라이제이션 정확도를 크게 향상시킨다.
• SBL와 엔트로피의 통합은 높은 커버리지 테스트 셋에 대한 의존도를 줄여주며, 테스트 커버리지가 낮은 경우에도 강건한 성능을 보인다.
• EnSpec은 내부 프로젝트 및 프로젝트 간 설정 모두에서 SBL를 초월하며, 다양한 소프트웨어 프로젝트 간 일반화 능력을 입증한다.
• 이 방법은 프로그래밍 언어에 관계없이 효과적이며, 자바와 C 프로젝트 모두에서 일관된 개선 효과를 보였다.
• 코드 엔트로피는 버그 라인과 정확히 상관관계가 있으며, 자연스럽지 않거나 엔트로피가 높은 코드는 고장이 발생할 가능성이 더 높다는 것을 확인했다.
• 이 방법은 버그 보고서나 외부 메타데이터가 필요 없어, 이러한 자료가 확보되지 않은 초기 개발 단계에도 적용 가능하다.