[논문 리뷰] Generative Adversarial Network-based Cross-Project Fault Prediction

Sourabh Pal|arXiv (Cornell University)|2021. 05. 15.

Software Engineering Research참고 문헌 30인용 수 5

한 줄 요약

이 논문은 GAN 기반 도메인 적응 기법을 제안하며, 이는 교차 프로젝트 소프트웨어 결함 예측(CPDP)에 적용된다. 여기서 생성자는 타겟 프로젝트 데이터를 소스 프로젝트의 분포와 일치하도록 변환하여 데이터 분포의 차이를 줄인다. 이 방법은 특히 JDT가 타겟 프로젝트일 경우 높은 F1-측정치 성능을 달성하지만, 클래스 불균형 문제가 여전히 핵심 과제로 남아 있다.

ABSTRACT

Background: The early stage of defect prediction in the software development life cycle can reduce testing effort and ensure the quality of software. Due to the lack of historical data within the same project, Cross-Project Defect Prediction (CPDP) has become a popular research topic among researchers. CPDP trained classifiers based on labeled data sets of one project to predict fault in another project. Goals: Software Defect Prediction (SDP) data sets consist of manually designed static features, which are software metrics. In CPDP, source and target project data divergence is the major challenge in achieving high performance. In this paper, we propose a Generative Adversarial Network (GAN)-based data transformation to reduce data divergence between source and target projects. Method: We apply the Generative Adversarial Method where label data sets are choosing as real data, while target data sets are choosing as fake data. The Discriminator tries to measure the perfection of domain adaptation through loss function. Through the generator, target data sets try to adapt the source project domain and, finally, apply machine learning classifier (i.e., Naive Bayes) to classify faulty modules. Results: Our result shows that it is possible to predict defects based on the Generative Adversarial Method. Our model performs quite well in a cross-project environment when we choose JDT as a target data sets. However, all chosen data sets are facing a large class imbalance problem which affects the performance of our model.

연구 동기 및 목표

• 교차 프로젝트 결함 예측(CPDP)에서 소스 프로젝트와 타겟 프로젝트 간 데이터 분포 간극을 해결하는 데 목적을 둔다.
• 소프트웨어 메트릭 분포가 다른 프로젝트 간의 도메인 이동으로 인한 성능 저하를 줄이기 위한 목표를 가진다.
• 생성적 적대적 네트워크(GANs)를 활용하여 타겟 프로젝트 데이터를 소스 프로젝트의 특성 공간에 맞추기 위한 비지도 도메인 적응을 수행한다.
• 역사적 데이터가 부족한 초기 소프트웨어 개발 단계에서의 결함 예측 정확도를 향상시키기 위한 목표를 가진다.
• 실제로 Eclipse 오픈소스 프로젝트를 대상으로 F1-측정치를 주요 지표로 사용하여 GAN 기반 데이터 변환의 효과성을 평가한다.

제안 방법

• GAN 프레임워크 내에서 레이블이 부여된 소스 프로젝트 데이터를 진짜 데이터로 간주하고, 레이블이 없는 타겟 프로젝트 데이터를 노이즈(가짜)로 간주한다.
• 타겟 프로젝트 특성을 소스 프로젝트의 특성 분포를 모방하는 분포로 매핑하는 생성자 네트워크를 훈련시킨다.
• 진짜 소스 데이터와 생성된(가짜) 타겟 데이터를 구분하기 위해 판별자 네트워크를 훈련시키며, 최소-최대 손실 함수를 사용한다.
• 표준 GAN 목적 함수를 사용한다: $\min_G \max_D V(D,G) = \mathbb{E}_{x\sim p_s(x)}[\log D(x)] + \mathbb{E}_{z\sim p_t(z)}[\log(1 - D(G(z)))]$.
• 모든 레이어에 대해 ReLU 활성화 함수를 사용하며, 판별자의 출력 레이어만 Sigmoid를 사용한다.
• 원본 레이블이 부여된 소스 데이터에 대해 나이브 베이즈 분류기를 훈련하고, 이를 생성된(도메인 적응된) 타겟 데이터에 적용하여 최종 결함 분류를 수행한다.

실험 결과

연구 질문

• RQ1 GAN 기반 도메인 적응 기법이 CPDP에서 소스 프로젝트와 타겟 프로젝트 간의 데이터 분포 간극을 효과적으로 줄일 수 있는가?
• RQ2 훈련 에포크 수가 다양할 경우 F1-측정치 측면에서 제안된 모델의 성능은 어떻게 변하는가?
• RQ3 소스 프로젝트와 유사한 코드베이스 특성을 가진 프로젝트(예: JDT 대비 lucene)에서 모델이 더 높은 성능을 내는가?
• RQ4 타겟 데이터셋의 클래스 불균형이 모델의 예측 성능에 어느 정도 영향을 미치는가?

주요 결과

• GAN 기반 도메인 적응 기법은 소스 프로젝트와 타겟 프로젝트 간의 데이터 분포 간극을 성공적으로 줄이며, 교차 프로젝트 결함 예측 성능을 향상시킨다.
• JDT가 타겟 프로젝트로 사용될 경우 모델이 가장 높은 F1-측정치를 기록하며, 이는 lucene 대비 더 나은 특성 공간 정렬과 전이 가능성(transferability)을 의미한다.
• 훈련 에포크 수가 25에서 100으로 증가함에 따라 성능이 상대적으로 안정되어 있어, 훈련 과정에서 수렴성과 오버피팅에 대한 강건성을 시사한다.
• lucene 데이터셋에서는 높은 클래스 불균형(버그가 있는 모듈 비율 9.26%)으로 인해 성능이 심각하게 저하되며, 이는 치명적인 제약으로 나타난다.
• 도메인 적응을 적용함에도 불구하고, 타겟 데이터셋의 클래스 불균형 문제는 특히 버그 비율이 낮은 프로젝트에서 높은 F1-측정치를 달성하는 데 있어 주요 장애물로 남아 있다.
• 나이브 베이즈 분류기는 적응된 타겟 데이터에서 신뢰할 수 있는 결함 분류를 달성하며, GAN 기반 특성 공간 정렬의 효과성을 검증한다.