[논문 리뷰] Explainable Software Defect Prediction: Are We There Yet?

Jiho Shin, Reem Aleithan외 3명|arXiv (Cornell University)|2021. 11. 21.

Software Engineering Research참고 문헌 56인용 수 8

한 줄 요약

이 연구는 다양한 데이터 샘플링, 기계학습 분류기, 예측 시나리오에서 소프트웨어 결함 예측에 대한 모델에 종속되지 않는 설명 기법—LIME와 BreakDown의 신뢰성과 안정성을 조사한다. 결과적으로 다양한 설정 간에 일관되지 않은 설명과 근본 원인을 반영하지 못하는 경향을 보이며, 이는 이론적으로는 효과적이라고 주장된 바 있으나 실무적 활용 가능성에 의문을 제기한다.

ABSTRACT

Explaining the prediction results of software defect prediction models is a challenging while practical task, which can provide useful information for developers to understand and fix the predicted bugs. To address this issue, recently, Jiarpakdee et al. proposed to use {two state-of-the-art} model-agnostic techniques (i.e., LIME and BreakDown) to explain the prediction results of bug prediction models. Their experiments show these tools can generate promising results and the generated explanations can assist developers understand the prediction results. However, the fact that LIME and BreakDown were only examined on a single software defect prediction model setting calls into question about their consistency and reliability across software defect prediction models with various settings. In this paper, we set out to investigate the consistency and reliability of model-agnostic technique based explanation generation approaches (i.e., LIME and BreakDown) on software defect prediction models with different settings , e.g., different data sampling techniques, different machine learning classifiers, and different prediction scenarios. Specifically, we use both LIME and BreakDown to generate explanations for the same instance under software defect prediction models with different settings and then check the consistency of the generated explanations for the instance. We reused the same defect data from Jiarpakdee et al. in our experiments. The results show that both LIME and BreakDown generate inconsistent explanations under different software defect prediction settings for the same test instances, which makes them unreliable for explanation generation. Overall, with this study, we call for more research in explainable software defect prediction towards achieving consistent and reliable explanation generation.

연구 동기 및 목표

• 다양한 모델링 설정에서 모델에 종속되지 않는 설명 기법(LIME 및 BreakDown)의 신뢰성과 안정성을 평가하기 위해.
• 다른 데이터 샘플링 기법, 분류기, 예측 시나리오를 사용해 결함 예측 모델을 구축할 경우 설명이 일관되게 유지되는지 조사하기 위해.
• 생성된 설명이 표면적 또는 허위의 특성 기여도가 아니라 실제 결함의 근본 원인을 반영하는지 평가하기 위해.
• 이전에 LIME와 BreakDown가 개발자에게 실질적이고 신뢰할 수 있는 설명을 제공한다고 주장한 바에 대해 실무적 타당성을 도전하기 위해.
• 설명 기법에 대한 더 철저한 평가와 설명 가능한 소프트웨어 결함 예측을 위한 더 신뢰할 수 있는 방법 개발을 촉구하기 위해.

제안 방법

• Jiarpakdee 등 [1]에서 재사용한 동일한 결함 데이터셋을 활용하여, 아홉 개의 대규모 오픈소스 자바 프로젝트에서 나온 32개의 파일 수준 결함 데이터를 포함한다.
• 다양한 설정을 가진 여러 결함 예측 모델에서 동일한 테스트 인스턴스에 대해 LIME과 BreakDown을 적용하여 인스턴스 수준의 설명을 생성한다.
• 세 가지 핵심 설정을 체계적으로 변화시켰다: 데이터 샘플링 기법(다섯 가지 방법), 기계학습 분류기(여섯 가지 모델), 예측 시나리오(버전 간 및 프로젝트 간).
• 동일한 인스턴스에 대해 다양한 모델 구성 간의 특성 기여도 순위를 비교하여 설명의 일관성을 측정한다.
• 일부 인스턴스에 대해 수작업 분석을 수행하여 생성된 설명이 실제 결함의 근본 원인과 일치하는지 평가한다.
• 양적 일관성 검증과 질적 수작업 점검을 병행하여 설명의 신뢰성과 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 다른 데이터 샘플링 기법을 사용해 결함 예측 모델을 구축할 경우, LIME와 BreakDown이 생성하는 설명은 얼마나 일관성 있는가?
• RQ2 다른 기계학습 분류기를 사용할 경우, 설명은 얼마나 안정적인가?
• RQ3 결함 예측에서 다양한 예측 시나리오(예: 버전 간 대비 프로젝트 간) 간 설명 출력은 어떻게 달라지는가?
• RQ4 수작업 점검을 통해 판단했을 때, 생성된 설명은 예측된 결함의 실제 근본 원인을 어느 정도 반영하는가?
• RQ5 LIME 및 BreakDown과 같은 모델에 종속되지 않는 설명 기법은 실무적 소프트웨어 결함 예측에 충분히 신뢰성 있고 안정적인가?

주요 결과

• LIME와 BreakDown은 다양한 결함 예측 설정—다른 데이터 샘플링 기법, 분류기, 예측 시나리오—에서 상당한 일관성 없는 설명을 생성한다.
• 특성 기여도 순위의 일관성 부족은 설명의 신뢰성을 해치며, 실무에서 일관된 의사결정 지원에 부적합하다.
• 수작업 분석을 통해 생성된 설명이 예측된 결함의 진정한 근본 원인을 정확히 반영하지 못한다는 것이 확인되었다.
• 이 연구는 이전에 LIME와 BreakDown이 실질적이고 통찰력 있는 설명을 제공한다고 주장한 바를 반박하며, 설명이 종종 관련 없거나 허위의 특성 기여도를 강조하는 경향이 있음을 확인하였다.
• 결과적으로 모델에 종속되지 않는 설명 기법은 실제 소프트웨어 결함 예측 시스템에서 사용하기에 신뢰할 수 없고 안정성이 떨어진다.
• 결과적으로 기존의 모델에 종속되지 않는 접근법에 대한 재평가와 소프트웨어 공학 분야에서 더 견고하고 신뢰할 수 있는 설명 방법 개발의 필요성을 강조한다.