[논문 리뷰] Automated Fault Localization Using Potential Invariants

Brock Pytlik, Manos Renieris외 2명|ArXiv.org|2003. 10. 18.

Software Testing and Debugging Techniques참고 문헌 5인용 수 110

한 줄 요약

이 논문은 실행 트레이스에서 정적 유도된 프로그램 인variants인 잠재적 인variants를 사용하여 실패한 실행과 성공적 실행의 모델을 대조함으로써 버그를 식별하는 자동화된 결함 로컬라이제이션 기법을 제안한다. 이론적으로는 유망한 기초를 지녔지만, 실험 결과는 제한된 효과성을 보이며, print_tokens에서 484개의 결함 있는 실행 중 하나만 의미 있는 인variants 차이를 보였고, tcas에서는 전혀 그러한 차이가 없었다. 이는 잠재적 인variants만으로는 더 풍부한 인variants 집합이나 도메인 특화 조정 없이는 강건한 결함 로컬라이제이션을 위한 데는 부족하다는 것을 시사한다.

ABSTRACT

We present a general method for fault localization based on abstracting over program traces, and a tool that implements the method using Ernst's notion of potential invariants. Our experiments so far have been unsatisfactory, suggesting that further research is needed before invariants can be used to locate faults.

연구 동기 및 목표

• 프로그램 트레이스와 인variants를 사용하여 일반적인 자동화된 결함 로컬라이제이션 방법을 개발하는 것.
• 프로그래머가 실패한 실행과 성공적 실행의 모델을 대조하여 버그를 식별할 수 있도록 하는 것.
• 등식, 합, 작거나 같은 관계와 같은 관계 스키마에서 유도된 잠재적 인variants를 사용하여 소프트웨어 결함을 정확히 특정할 수 있는지 평가하는 것.
• 좋은 실행과 나쁜 실행 간의 인variants 기반 차이가 실제로 버그를 신뢰성 있게 드러내는지 평가하는 것.

제안 방법

• 좋은 입력과 나쁜 입력 모두에 대해 Daikon의 인스트루먼터를 사용해 소스 코드를 인스트루먼트하여 실행 트레이스를 수집한다.
• 등식, 합, 작거나 같은 관계, 그리고 상수 등등의 정의된 관계 스키마를 사용해 트레이스에서 잠재적 인variants를 추출한다.
• 여러 개의 성공적 실행에서 유도된 스펙트럼(활성 인variants)의 교차를 계산하여 정상 동작의 모델을 구성한다.
• 실패한 실행의 스펙트럼을 좋은 실행의 모델과 비교하여 결함을 시사할 수 있는 인variants 차이를 식별한다.
• 값의 집합과 쌍화된 값의 집합을 사용해 변수 범위를 추적함으로써 곱의 정확도 저하로 인한 거짓 양성 결과를 줄인다.
• 수동으로 결함를 삽입한 실제 프로그램인 Siemens 라이브러리의 tcas와 print_tokens에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 프로그램 트레이스에서 유도된 잠재적 인variants가 소프트웨어 결함을 효과적으로 로컬라이제이션하는 데 적합한가?
• RQ2 성공적 실행의 모델과 실패한 실행의 스펙트럼을 대조함으로써 실제 결함을 가리키는 의미 있는 차이가 드러나는가?
• RQ3 더 많은 성공적 실행이 추가될수록 좋은 실행의 모델은 얼마나 안정적인가?
• RQ4 이 방법이 생성하는 인variants 차이들이 실제 결함와 의미적으로 관련이 있는가?

주요 결과

• 관계적 인variants에 대해서는 좋은 실행의 모델이 빠르게 안정화되지만, 값의 집합은 수백 번의 실행 이후에도 계속 증가하여 수렴성이 떨어지는 것으로 나타났다.
• tcas 라이브러리의 568개의 결함 있는 실행 중, 안정된 상태의 좋은 실행 모델과 대조했을 때 어떤 인variants 차이도 생성되지 않았다.
• print_tokens 라이브러리에서는 484개의 결함 있는 실행 중 하나만 인variants 차이를 생성했고, 그마저도 실제 결함과 관련이 없었다.
• print_tokens에 수동으로 삽입한 결함은 두 개의 관련 있는 인variants 위반을 성공적으로 유도하여, 이론적으로는 제한된 환경에서의 잠재적 가능성은 입증되었다.
• 대부분의 실제 결함을 탐지하지 못한 것은 현재의 인variants 스키마 집합이 일반적인 목적의 결함 로컬라이제이션에 부족하다는 것을 시사한다.
• 결과적으로 잠재적 인variants만으로는 신뢰할 수 있는 결함 로컬라이제이션에 부족하며, 더 풍부한 인variants 집합이나 도메인 특화 적응 기법에 대한 향후 연구가 필요하다.