[논문 리뷰] Bridging Expert Knowledge with Deep Learning Techniques for Just-In-Time Defect Prediction

Xin Zhou, DongGyun Han외 1명|arXiv (Cornell University)|2024. 03. 17.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 간단한 모델(전문 지식 기반 수작업 특징)과 복잡한 모델(딥러닝 기반 의미적 특징)을 조기 융합 및 만기 융합 전략을 통해 융합하는 새로운 융합 프레임워크인 SimCom++을 제안한다. 이 방법은 주요 지표에서 최신 기준 모델보다 5.7–26.9% 향상되어, 전문 지식과 딥러닝 특징을 통합함으로써 실시간 결함 예측 성능이 향상됨을 입증한다.

ABSTRACT

Just-In-Time (JIT) defect prediction aims to automatically predict whether a commit is defective or not, and has been widely studied in recent years. In general, most studies can be classified into two categories: 1) simple models using traditional machine learning classifiers with hand-crafted features, and 2) complex models using deep learning techniques to automatically extract features from commit contents. Hand-crafted features used by simple models are based on expert knowledge but may not fully represent the semantic meaning of the commits. On the other hand, deep learning-based features used by complex models represent the semantic meaning of commits but may not reflect useful expert knowledge. Simple models and complex models seem complementary to each other to some extent. To utilize the advantages of both simple and complex models, we propose a model fusion framework that adopts both early fusions on the feature level and late fusions on the decision level. We propose SimCom++ by adopting the best early and late fusion strategies. The experimental results show that SimCom++ can significantly outperform the baselines by 5.7--26.9\%. In addition, our experimental results confirm that the simple model and complex model are complementary to each other.

연구 동기 및 목표

• 기존의 JIT 결함 예측 모델이 수작업 특징에만 의존(의미적 깊이 부족)하거나 딥러닝에만 의존(해석 가능성 및 전문 지식 부족)하는 한계를 해결하기 위해.
• 간단한 모델(전문 지식 기반)과 복잡한 모델(딥러닝 기반)을 조합하면 별도로 사용할 경우보다 더 높은 성능을 달성할 수 있는지 탐구하기 위해.
• 간단한 모델과 복잡한 모델의 상호보완적 강점을 활용하기 위해 특징 수준(조기) 및 결정 수준(만기) 융합 전략을 모두 적용하는 다중 모odal 융합 프레임워크를 설계하기 위해.
• 다양한 소프트웨어 프로젝트와 다양한 데이터 조건(대규모 커밋 제거 포함)에서 제안된 프레임워크의 강건성과 일반화 능력을 평가하기 위해.

제안 방법

• 프레임워크는 코드 변경 크기, 채인지수, 이력 결함 비율 등의 수작업 특징 기반 간단한 모델을 사용한다.
• SimCom++의 Com 모델을 활용해 신경망을 사용하여 커밋 로그와 코드 변경 사항으로부터 의미적 표현을 자동으로 추출한다.
• 조기 융합은 분류 이전에 두 모델의 원시 특징을 결합하여 저수준 및 고수준 패턴의 공동 학습을 가능하게 한다.
• 만기 융합은 간단한 모델과 복잡한 모델의 예측 점수를 가중 평균 또는 스태킹을 통해 결합하여 최적의 결정 경계 학습을 가능하게 한다.
• 최종 SimCom++ 모델는 조기 융합 및 만기 융합 구성 요소를 동시에 최적화하는 하이브리드 훈련 전략을 사용해 엔드 투 엔드로 훈련된다.
• 표준 지표인 AUC-ROC, AUC-PR 및 F1-스코어를 사용하여 다수의 오픈소스 프로젝트에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 전문 지식 기반 특징과 딥러닝 기반 의미적 특징을 융합하면 최신 기준 모델을 초월하는 JIT 결함 예측 성능을 달성할 수 있는가?
• RQ2 JIT 결함 예측에서 단순 모델(전문 지식 기반)과 복잡한 모델(딥러닝 기반) 간에 상호보완적 관계가 존재하는가?
• RQ3 대규모 커밋이 훈련 및 테스트 데이터에서 제거된 경우에도 제안된 융합 프레임워크가 우수한 성능을 유지하는가?
• RQ4 조기 융합과 만기 융합 전략 중 어느 것이 복합 모델의 예측 능력을 더 효과적으로 향상시키는가?

주요 결과

• SimCom++는 모든 베이스라인 모델보다 유의미하게 뛰어나며, AUC-ROC 평균 5.7% 향상, AUC-PR 평균 12.5% 향상, F1-스코어 평균 17.9% 향상된다.
• 강력한 최신 기준 모델 대비 AUC-ROC에서 최대 26.9% 향상되어 융합 전략의 효과성을 입증한다.
• 모든 평가 지표 및 프로젝트에서 단일 간단 모델 및 복잡 모델보다 항상 뛰어나며, 평균 4.4%–10.1% 향상된다.
• 대규모 커밋(상위 10%–40%)이 제거된 경우에도 SimCom++는 최고의 베이스라인 대비 AUC-ROC에서 9.5% 향상, AUC-PR에서 16.1% 향상, F1-스코어에서 13.5% 향상되어 강건성을 입증한다.
• 결과는 전문 지식과 딥러닝 특징 간에 상호보완적 관계가 있으며, 다중 모달 융합을 통한 통합이 뛰어난 예측 성능을 제공함을 확인한다.
• 제거 분석 결과, 조기 융합과 만기 융합 모두 최종 성능에 기여하며, 특히 만기 융합이 결정 보정에서 강력한 역할을 한다.