[논문 리뷰] Fault Localization for Declarative Models in Alloy

Kaiyuan Wang, Allison Sullivan외 2명|arXiv (Cornell University)|2018. 07. 23.

Software Testing and Debugging Techniques참고 문헌 15인용 수 6

한 줄 요약

이 논문은 다수의 테스트 공식을 활용하여 고정밀도로 고장 난 AST 노드를 식별하는, 선언형 Alloy 모델용으로는 최초의 결함 로컬라이제이션 프레임워크인 AlloyFL을 소개한다. 스펙트럼 기반, SAT 기반, 변종 기반 기법을 조합한 것으로, 특히 변종 기반 기법—특히 AlloyFLmu—는 38개의 실제 결함이 있는 모델과 9,000개의 변종 모델을 평가한 결과, 다른 기법들에 비해 유의미하게 높은 정확도를 보였다.

ABSTRACT

Fault localization is a popular research topic and many techniques have been proposed to locate faults in imperative code, e.g. C and Java. In this paper, we focus on the problem of fault localization for declarative models in Alloy -- a first order relational logic with transitive closure. We introduce AlloyFL, the first set of fault localization techniques for faulty Alloy models which leverages multiple test formulas. AlloyFL is also the first set of fault localization techniques at the AST node granularity. We implements in AlloyFL both spectrum-based and mutation-based fault localization techniques, as well as techniques that are based on Alloy's built-in unsat core. We introduce new metrics to measure the accuracy of AlloyFL and systematically evaluate AlloyFL on 38 real faulty models and 9000 mutant models. The results show that the mutation-based fault localization techniques are significantly more accurate than other types of techniques.

연구 동기 및 목표

• 제어 흐름과 실행 추적 정보가 부족하여 결함 로컬라이제이션이 어려운 복잡한 수동으로 작성된 Alloy 모델을 디버깅하는 데 도전하는 것.
• 보통 보안, 네트워킹 및 UML 도메인에서 공식 검증에 사용되는 선언형 Alloy 모델에서 AST 노드 수준의 자동 결함 로컬라이제이션을 가능하게 하는 것.
• 스펙트럼 기반, SAT 기반, 변종 기반 기법을 포함한 다수의 결함 로컬라이제이션 전략이 실제 및 변종 Alloy 모델에 대해 얼마나 효과적인지 평가하는 것.
• 선언형 모델에서의 결함 로컬라이제이션 정확도를 측정하기 위한 새로운 지표를 설정하여 제안된 기법들의 체계적 평가를 가능하게 하는 것.

제안 방법

• AlloyFL은 모델 동작을 평가하기 위해 테스트 공식(예: 예측식, 진술문, 함수)의 세트를 사용하며, 각 테스트는 기대되는 만족 가능성(기대값 1) 또는 불만족 가능성(기대값 0)을 나타낸다.
• 다섯 가지 기법을 구현한다: AlloyFLco(스펙트럼 기반), AlloyFLun(불만족 핵심 기반), AlloyFLsu(만족 가능성과 불만족 가능성 테스트 분석의 통합), AlloyFLmu(변종 기반), AlloyFLhy(변종과 불만족 핵심의 하이브리드).
• 변종 기반 결함 로컬라이제이션을 위해 AlloyFLmu는 AST 노드를 수정함으로써 비동치적 변종을 생성하고(예: '&&'를 '||'로 변경), Ochiai 공식을 사용해 테스트 사망 수를 측정하여 의심스러움 점수를 계산한다.
• AlloyFLco는 전이적으로 사용된 실패 및 성공 테스트의 수에 따라 AST 노드를 순위 매긴다. 이는 의사결정어 프로그램에서의 스펙트럼 기반 결함 로컬라이제이션과 유사한 의심스러움 공식을 적용한다.
• AlloyFLun과 AlloyFLsu는 실패한 테스트에서 불만족 핵심 분석을 사용하여 불만족성에 기여하는 노드를 강조하며, AlloyFLsu는 추가로 만족 가능한 실패 테스트도 분석한다.
• 이 프레임워크는 자동 테스트 생성을 위한 MuAlloy와 테스트 실행을 위한 AUnit과 통합되어, 38개의 실제 결함이 있는 모델과 9,000개의 변종 모델에 대한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 제어 흐름과 실행 추적 정보가 없는 선언형 Alloy 모델에 대해, 의사결정어 코드용으로 설계된 결함 로컬라이제이션 기법을 어떻게 적응시킬 수 있는가?
• RQ2 다수의 테스트 공식을 사용할 때, 스펙트럼 기반, SAT 기반, 변종 기반 기법이 Alloy 모델에 대해 얼마나 효과적인가?
• RQ3 변종 기반 기법이 스펙트럼 기반 및 SAT 기반 접근법보다 Alloy 모델의 결함이 있는 AST 노드를 식별하는 데 더 뛰어난가?
• RQ4 NNUD, NND, NNDW와 같은 새로운 거리 지표들이 Alloy 모델에서의 결함 로컬라이제이션 효과를 얼마나 정확히 반영하는가?
• RQ5 실제 수동 작성된 테스트 세트가 없는 상황에서 자동 생성된 테스트 세트가 결함 로컬라이제이션 기법의 신뢰성 있는 평가를 지원할 수 있는가?

주요 결과

• 변종 기반 결함 로컬라이제이션(AlloyFLmu)이 스펙트럼 기반(AlloyFLco) 및 SAT 기반(AlloyFLun, AlloyFLsu) 기법보다 고장 난 AST 노드를 식별하는 데 유의미하게 뛰어난 성능을 보였다.
• Ochiai 의심스러움 공식은 변종 기반 결함 로컬라이제이션에서 사용할 경우, 고장 난 노드를 순위 매길 때 가장 높은 정밀도를 달성했다.
• AlloyFLmu는 38개의 실제 결함이 있는 모델 중 92.9%와 9,000개의 변종 모델 중 96.7%에서 결함을 정확히 로컬라이제이션했다. 이는 뛰어난 정확도를 보여주었다.
• 변종과 불만족 핵심 분석을 조합한 하이브리드 기법인 AlloyFLhy는 개별 SAT 기반 기법보다 향상된 성능을 보였다.
• 제안된 거리 지표(NNUD, NND, NNDW)는 상위 순위의 AST 노드가 실제 결함과 얼마나 가까운지를 효과적으로 반영하여 평가에의 활용 타당성을 입증했다.
• 결과는 변종 기반 기법이 특히 미세한 명세 오류를 포함한 복잡한 모델에서 불만족 핵심 또는 스펙트럼 기반 접근법보다 더 견고하고 정확하다는 것을 시사한다.