[논문 리뷰] Human-in-the-Loop Fault Localisation Using Efficient Test Prioritisation of Generated Tests.

Gabin An, Shin Yoo|arXiv (Cornell University)|2021. 04. 14.

Software Testing and Debugging Techniques참고 문헌 50인용 수 4

한 줄 요약

QFiD는 결과 인식 메트릭을 사용하여 생성된 테스트 케이스를 우선순위화함으로써 최소한의 인간 노력으로 정확도를 향상시키는 인간-중심 결함 진단 기법이다. 단지 10회의 인간 레이블링 이후로도 QFiD는 상위 1위에서 27%, 상위 10위 이내에서 66%의 결함 진단 정확도를 달성하였으며, 이는 초기 테스트 케이스만을 사용한 경우보다 각각 13배, 2배 높은 성능이다.

ABSTRACT

Many existing fault localisation techniques become less effective or even inapplicable when not adequately supported by a rich test suite. To overcome this challenge, we present a human-in-the-loop fault localisation technique, QFiD, that works with only a small number of initial failing test cases. We augment the failing test cases with automatically generated test data and elicit oracles from a human developer to label the test cases. A new result-aware test prioritisation metric allows us to significantly reduce the labelling effort by prioritising the test cases to achieve maximum localisation accuracy. An evaluation with EvoSuite and our test prioritisation metric shows that QFiD can significantly increase the localisation accuracy. After only ten human labellings, QFiD can localise 27% and 66% of real-world faults in Defects4J at the top and within the top ten, respectively. This is a 13 and 2 times higher performance than when using the initial test cases. QFiD is also resilient to human errors, retaining 80% of its acc@1 performance on average when we introduce a 30% error rate to the simulated human oracle.

연구 동기 및 목표

• 기존의 결함 진단 기법이 효과적이기 위해 대규모이고 풍부한 테스트 셋이 필요하다는 한계를 해결하기 위해.
• 초기 실패 테스트 케이스가 소수일 경우에도 효과적인 결함 진단을 가능하게 하기 위해.
• 오라클 수집을 위한 인간 레이블링을 지능적으로 우선순위 정렬함으로써 인간의 레이블링 노력을 줄이기 위해.
• 제한된 테스트 커버리지와 잠재적인 인간 실수에도 불구하고 실제 시스템에서의 결함 진단 정확도를 향상시키기 위해.

제안 방법

• EvoSuite를 사용하여 초기 실패 테스트 케이스에 자동으로 생성된 테스트 데이터를 보완한다.
• 개발자로부터 테스트 케이스를 통과 또는 실패로 레이블링하는 오라클을 확보하며, 우선순위가 부여된 케이스에 집중한다.
• 결함 진단 정확도에 기여할 잠재적 기여도를 기반으로 테스트 케이스를 순위 매기는 결과 인식 테스트 우선순위 정렬 메트릭을 도입한다.
• 반복적으로 우선순위 정렬 메트릭을 적용하여 인간 레이블링을 위한 가장 정보적인 테스트 케이스를 선택한다.
• 레이블링된 테스트 케이스를 통계적 분석을 통해 결함 진단 결과를 개선한다.
• 인간 실수율을 시뮬레이션하여 접근법의 강건성과 내성에 대한 평가를 수행한다.

실험 결과

연구 질문

• RQ1 최소한의 인간 레이블링 노력으로도 인간-중심 접근법이 결함 진단 정확도를 크게 향상시킬 수 있는가?
• RQ2 결과 인식 테스트 우선순위 정렬 기법은 인간 오라클 레이블링 수요를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 실제 인간 실수 조건 하에서도 QFiD는 성능을 어느 정도 유지하는가?
• RQ4 초기 실패 테스트 케이스만을 사용하는 기준 기법과 비교해 QFiD는 어떤 성능을 보이는가?
• RQ5 QFiD는 Defects4J와 같은 산업용 시스템의 실제 소프트웨어 결함에 대해 효과적으로 스케일링 가능한가?

주요 결과

• 단지 10회의 인간 레이블링 이후로도 QFiD는 Defects4J의 실제 결함 중 상위 랭킹에 27%를 정확히 진단하였으며, 이는 초기 실패 테스트 케이스만을 사용한 경우보다 13배 높은 성능이다.
• 10회의 레이블링 이후 QFiD는 상위 10개의 랭킹 내에서 66%의 결함 진단 정확도를 달성하였으며, 이는 기준 대비 2배 향상된 성능이다.
• 기술은 인간 실수에 강건하여, 오라클 레이블에 30%의 실수율을 시뮬레이션했을 때도 평균적으로 acc@1 성능의 80%를 유지한다.
• 결과 인식 테스트 우선순위 정렬 메트릭은 가장 정보적인 테스트 케이스에 집중함으로써 인간 레이블링 수요를 효과적으로 줄였다.
• QFiD는 초기 실패 테스트 케이스만을 기반으로 하는 기준 기법보다 뚜렷이 뛰어나며, 특히 테스트 셋이 제한된 상황에서 두각을 나타낸다.
• 테스트 셋이 흔히 제한적이고 인간의 노력이 비용이 많이 드는 실세계 소프트웨어 유지보수 환경에서 QFiD는 높은 실용성과 타당성을 입증한다.