[논문 리뷰] Spectrum-based Software Fault Localization: A Survey of Techniques, Advances, and Challenges

Higor Amario de Souza, Marcos Lordello Chaim외 1명|arXiv (Cornell University)|2016. 07. 15.

Software Testing and Debugging Techniques참고 문헌 167인용 수 66

한 줄 요약

이 종합 검토는 2005년부터 2017년 10월까지 스펙트럼 기반 소프트웨어 결함 진단(SFL) 기법에 대한 종합적 분석을 제공하며, 방법, 스펙트럼, 결함 처리, 벤치마크 프로그램, 테스팅 데이터 및 산업적 적용 가능성을 평가한다. 실생활 프로그램에서의 결함 진단 향상과 개선된 의심도 순위 매기기 등의 주요 진전을 밝히며, 다중 결함 처리, 정밀도와 비용의 균형, 실생활 적용을 뒷받침할 사용자 연구 부족 등의 과제를 제기한다.

ABSTRACT

Despite being one of the most basic tasks in software development, debugging is still performed in a mostly manual way, leading to high cost and low performance. To address this problem, researchers have studied promising approaches, such as Spectrum-based Fault Localization (SFL) techniques, which pinpoint program elements more likely to contain faults. This survey discusses the state-of-the-art of SFL, including the different techniques that have been proposed, the type and number of faults they address, the types of spectra they use, the programs they utilize in their validation, the testing data that support them, and their use at industrial settings. Notwithstanding the advances, there are still challenges for the industry to adopt these techniques, which we analyze in this paper. SFL techniques should propose new ways to generate reduced sets of suspicious entities, combine different spectra to fine-tune the fault localization ability, use strategies to collect fine-grained coverage levels from suspicious coarser levels for balancing execution costs and output precision, and propose new techniques to cope with multiple-fault programs. Moreover, additional user studies are needed to understand better how SFL techniques can be used in practice. We conclude by presenting a concept map about topics and challenges for future research in SFL.

연구 동기 및 목표

• 2005년부터 2017년 10월까지 스펙트럼 기반 결함 진단(SFL) 기법에 대한 종합적이고 최신의 종합 검토를 제공하기 위해.
• SFL 분야의 최신 동향을 분석하여, 기법, 스펙트럼, 결함 특성, 벤치마크 프로그램, 평가에 사용된 테스팅 데이터를 포함한다.
• SFL의 산업적 도입을 저해하는 주요 과제를 특정하고 논의하기 위해, 다중 결함 처리, 실행 비용과 정밀도의 균형, 사용자 연구 부족 등을 포함한다.
• 향후 연구 방향을 제안하기 위해, 다중 스펙트럼 통합, 의심 대상 엔터티 집합의 축소, 실생활 프로그램 디버깅 지원 향상 등을 포함한다.
• SFL 연구의 핵심 주제와 과제 간의 관계를 시각화하는 개념 맵을 제시하기 위해.

제안 방법

• 2005년부터 2017년 10월까지 출판된 SFL 연구를 식별하기 위해 체계적 문헌 검토 및 스노우볼링 과정을 수행하였다.
• 핵심 연구 주제와 관련된 디버깅 지원 전략에 기반해 SFL 기법을 분류하였다.
• 사용된 스펙트럼 유형(예: 제어 흐름, 데이터 흐름, 문장 수준, 조건 수준)과 그 결함 진단 정확도에 미치는 영향을 분석하였다.
• SFL 기법의 실험적 검증에 사용된 벤치마크 프로그램, 결함 유형, 테스팅 데이터를 평가하였다.
• 실제 적용 가능성 평가를 위해 사용자 연구 및 산업 내 도입 여부를 평가하고, 실생활 적용에서의 격차를 특정하였다.
• SFL 연구의 주제, 하位 주제, 연구 과제 간의 관계를 시각화하기 위한 개념 맵을 개발하였다.

실험 결과

연구 질문

• RQ1 2005년부터 2017년까지 제안된 가장 두드러진 SFL 기법은 무엇이며, 각 기법은 결함 진단 방식에서 어떻게 다릅니까?
• RQ2 제어 흐름, 데이터 흐름 등 다양한 유형의 스펙트럼은 결함 진단 정확도와 효율성에 어떻게 영향을 미칩니까?
• RQ3 현실 세계 소프트웨어, 특히 다중 결함과 복잡한 상호작용을 가진 프로그램을 다룰 때 현재 SFL 기법의 주요 한계는 무엇입니까?
• RQ4 왜 SFL 기법의 산업적 도입은 여전히 제한되어 있으며, 소프트웨어 개발 워크플로우에 통합을 저해하는 요인은 무엇입니까?
• RQ5 실제 적용 가능성, 정밀도, 확장성을 향상시키기 위해 향후 연구 방향은 무엇이 있습니까?

주요 결과

• 최근 SFL 기법들은 작은 단일 결함 벤치마크를 넘어서 실생활 프로그램에서의 효과성을 성공적으로 입증하였다.
• 제어 흐름과 데이터 흐름 등의 다중 스펙트럼을 통합하는 기법은 정밀도 향상에 유망하지만, 더 높은 계산 비용을 수반한다.
• 개발자 효율성을 향상시키기 위해 의심 대상 엔터티 집합을 축소하는 경향이 증가하고 있으며, 일부 기법은 상위 순위 결과에서 높은 결함 진단 정확도를 달성하였다.
• 더러운 수준의 스펙트럼을 활용한 세밀한 커버리지 수집 전략은 실행 비용과 출력 정밀도의 균형을 맞추는 데 도움이 되지만, 추가 탐구가 필요하다.
• 현재 SFL 기법은 다중 결함 프로그램에서 어려움을 겪으며, 결함 간 상호작용과 알려지지 않은 결함 수로 인해 진단이 복잡해진다.
• 실제 개발 환경에서 SFL에 대한 사용자 연구는 여전히 부족하여, 개발자가 실제로 SFL 추천을 어떻게 사용하고 어떤 이점을 얻는지 이해하기 어려운 상황이다.