[논문 리뷰] Assessing and Comparing Mutation-based Fault Localization Techniques

Thierry Titcheu Chekam, Mike Papadakis외 1명|arXiv (Cornell University)|2016. 07. 19.

Software Testing and Debugging Techniques참고 문헌 30인용 수 12

한 줄 요약

이 논문은 산업 규모의 프로그램에서 실제 장애를 대상으로 메타볼루션 기반 결함 정위 기법인 Metallaxis와 MUSE를 평가하고 비교한다. CoREBench를 사용하여, Metallaxis는 결함을 정위하기 위해 단지 18%의 문장만 필요로 하는 반면 MUSE는 37%가 필요하다는 것을 보여주며, Metallaxis는 각각 상위 10개 및 25개 문장을 검토할 때 50% 및 80%의 결함 정위 정확도를 달성한다.

ABSTRACT

Recent research demonstrated that mutation-based fault localization techniques are relatively accurate and practical. However, these methods have never been compared and have only been assessed with simple hand-seeded faults. Therefore, their actual practicality is questionable when it comes to real-wold faults. To deal with this limitation we asses and compare the two main mutation-based fault localization methods, named Metallaxis and MUSE, on a set of real-world programs and faults. Our results based on three typical evaluation metrics indicate that mutation-based fault localization methods are relatively accurate and provide relevant information to developers. Overall, our result indicate that Metallaxis and MUSE require 18% and 37% of the program statements to find the sought faults. Additionally, both methods locate 50% and 80% of the studied faults when developers inspect 10 and 25 statements.

연구 동기 및 목표

• 실제 장애, 특히 수작업으로 생성된 장애가 아닌 산업적 맥락에서의 메타볼루션 기반 결함 정위 기법의 실용적 효과성을 평가하기 위해.
• 메타볼루션 기반 결함 정위 방법 중 두 개의 주요 기법인 Metallaxis와 MUSE의 정확도 및 효율성 측면에서 비교하기 위해.
• 이 기법들이 개발자가 디버깅 중에 관심을 유지할 수 있도록 관련성 있고 개발자 友好的한 순위를 제공하는지 평가하기 위해.
• 메타볼루션 기반 기법이 실제 환경에서 스펙트럼 기반 기법을 능가할 수 있는지에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 실제 산업 프로그램에 존재하는 실제 장애를 담은 CoREBench라는 벤치마크를 활용하여 결함 정위 기법을 평가한다.
• Metallaxis를 적용하여, 실패 테스트 케이스에 의해 사라지는 변종(mutant)과 실제 결함이 연결된 문장을 순위화한다.
• MUSE를 적용하여, 실패 테스트 케이스를 통과하게 만드는 변종에 기반해 문장을 순위화한다. 이는 자동 복구 기법에서 영감을 받았다.
• 세 가지 표준 평가 지표를 사용한다: 상위-k 문장에서의 결함 정위 정확도, 상위 10개 문장의 평균 관련성, 문장 검토 비용.
• 상위 10개, 25개, 100%의 문장에서 결함 정위율에 대한 정량적 분석과 순위의 관련성에 대한 정성적 분석을 수행한다.
• 통계적 평가와 상위 순위 문장의 관련성 분석을 통해 두 기법 간의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 Metallaxis와 MUSE는 스펙트럼 기반 기법과 비교해 실제 장애 정위에 얼마나 효과적인가?
• RQ2 Metallaxis와 MUSE 중에서 결함 정위 정확도와 효율성 측면에서 더 나은 성능을 보이는 기법은 무엇인가?
• RQ3 각 기법의 순위 상위 문장들 중 실제 결함이 포함된 비율은 어느 정도인가?
• RQ4 높은 결함 정위율을 달성하기 위해 Metallaxis와 MUSE 간의 검토 비용(검토해야 할 문장 수)은 어떻게 비교되는가?
• RQ5 이 기법들이 생성하는 순위는 디버깅 중 개발자의 관심을 유지하기에 충분히 관련성이 있는가?

주요 결과

• 개발자가 상위 10개 문장을 뿐만 아니라 검토할 경우, Metallaxis는 연구된 결함의 50%를 정위하며, 상위 25개 문장을 검토할 경우 이는 80%로 증가한다.
• MUSE는 동일한 결함을 정위하기 위해 프로그램 전체 문장의 37%를 필요로 하며, 이는 Metallaxis에 비해 상당히 높은 검토 비용을 의미한다.
• 모든 연구된 결함을 정위하기 위해 Metallaxis는 18%의 문장 검토 비용을 기록한 반면, MUSE는 37%를 기록하여 Metallaxis가 훨씬 더 효율적임을 보여준다.
• 상위 10개 문장의 평균 관련성은 Metallaxis가 28.16%이며 MUSE는 25.88%이다. 이는 80%의 결함에서 최소한 하나의 관련 문장이 상위 10개 안에 포함됨을 의미한다.
• Metallaxis는 MUSE에 비해 두 배 이상 정확도가 높으며, 더 높은 결함 정위 정밀도와 낮은 검토 비용을 기록한다.
• 두 기법 모두 실제 결함과 관련성이 높은 순위를 생성하여, 실제 디버깅 환경에서의 실용적 가치를 뒷받침한다.