[논문 리뷰] Defect Category Prediction Based on Multi-Source Domain Adaptation

Ying Xing, Mengci Zhao외 5명|arXiv (Cornell University)|2024. 05. 16.

Industrial Vision Systems and Defect Detection인용 수 1

한 줄 요약

이 논문은 적대적 훈련과 가중 최대 평균 차이( WMMD) 주의 메커니즘을 통합함으로써 결함 유형 예측을 향상시키는 다중 소스 도메인 적응 프레임워크인 COPILOT을 제안한다. 여러 소스 프로젝트를 별개의 도메인으로 모델링하고 목표 프로젝트의 특징 분포와 정렬함으로써, 8개의 오픈소스 프로젝트로 구성된 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 다양한 결함 유형과 데이터 희소성 상황에서 기존 방법들보다 F1, MCC, 카파 점수 모두에서 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

In recent years, defect prediction techniques based on deep learning have become a prominent research topic in the field of software engineering. These techniques can identify potential defects without executing the code. However, existing approaches mostly concentrate on determining the presence of defects at the method-level code, lacking the ability to precisely classify specific defect categories. Consequently, this undermines the efficiency of developers in locating and rectifying defects. Furthermore, in practical software development, new projects often lack sufficient defect data to train high-accuracy deep learning models. Models trained on historical data from existing projects frequently struggle to achieve satisfactory generalization performance on new projects. Hence, this paper initially reformulates the traditional binary defect prediction task into a multi-label classification problem, employing defect categories described in the Common Weakness Enumeration (CWE) as fine-grained predictive labels. To enhance the model performance in cross-project scenarios, this paper proposes a multi-source domain adaptation framework that integrates adversarial training and attention mechanisms. Specifically, the proposed framework employs adversarial training to mitigate domain (i.e., software projects) discrepancies, and further utilizes domain-invariant features to capture feature correlations between each source domain and the target domain. Simultaneously, the proposed framework employs a weighted maximum mean discrepancy as an attention mechanism to minimize the representation distance between source and target domain features, facilitating model in learning more domain-independent features. The experiments on 8 real-world open-source projects show that the proposed approach achieves significant performance improvements compared to state-of-the-art baselines.

연구 동기 및 목표

• 기존의 이진 결함 예측의 한계를 해결하기 위해, 결함 유형을 CWE 결함 카테고리로 세분화된 레이블로 사용하는 다중 레이블 분류 문제로 재정의함.
• 목표 프로젝트에 충분한 레이블이 없는 상황에서의 프로젝트 간 결함 유형 예측 성능 향상.
• 다양한 이질적인 소프트웨어 프로젝트에서의 지식을 활용하여 소스 프로젝트와 목표 프로젝트 간의 도메인 이동 문제를 완화함.
• 도메인 불변 특징 학습과 적응형 주의 가중치를 통해 모델 일반화 능력을 향상시키고 부정적 전이를 줄임.

제안 방법

• CWE 카테고리를 세분화된 레이블로 사용하여 기존의 이진 결함 예측을 다중 레이블 분류 문제로 재구성함.
• 적대적 훈련을 사용하여 소스 프로젝트와 목표 프로젝트 간의 도메인 불일치를 줄이는 다중 소스 도메인 적응 프레임워크를 제안함.
• 소스 도메인과 목표 도메인 특징 간 표현 거리의 최소화를 위해 가중 최대 평균 차이(WMMD) 메커니즘을 주의 모듈로 도입함.
• 적대적 훈련에서 유도된 도메인 관련성 점수를 활용해 다양한 소스 도메인의 기여도를 가중치화함으로써 적응형 특징 정렬을 가능하게 함.
• 공유 인코더와 작업별 분류기 헤드를 갖춘 딥 네ural 네트워크를 훈련하여 도메인 정렬과 결함 유형 예측을 동시에 최적화함.
• 두 단계 훈련 프로세스를 적용함: 먼저 적대적 도메인 적응을 수행하고, 이후 주의 기반 특징 개선을 통한 엔드 투 엔드 미세조정을 수행함.

실험 결과

연구 질문

• RQ1 제안된 COPILOT 프레임워크는 교차 프로젝트 환경에서 최신 기술 기준 대비 결함 유형 예측 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 입력 검증 및 버퍼 오버플로우와 같은 드문 또는 복잡한 카테고리 포함 다양한 결함 유형에 대해 COPILOT의 효과는 어떠한가?
• RQ3 데이터 부족 상황에서 COPILOT의 성능에 어떤 영향을 미치며, 저자료 환경에서 기준 방법들과 비교해 볼 때 어떻게 되는가?
• RQ4 적대적 훈련과 WMMD 주의의 통합이 모델의 강건성과 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• COPILOT는 6개의 CWE 결함 유형 카테고리에서 평균 F1 점수 0.932를 기록하며, 최고의 베이스라인(ABMSDA)보다 36.4% 높은 성능을 보였다.
• 심각한 결함에 대한 w_F1 지표에서 COPILOT는 평균 0.877을 기록했으며, ABMSDA 대비 44.9% 향상되고 μVulDeePecker 대비 23.2% 향상되었다.
• RQ2 분석 실험에서 적대적 훈련 또는 WMMD 주의를 제거할 경우 평균 카파 점수는 각각 0.945에서 0.935와 0.927로 감소하였으며, 이는 두 구성 요소가 필수적임을 확인함.
• COPILOT는 모든 결함 데이터 양 수준에서 뛰어난 성능 유지를 보였으며, 결함 유형 샘플 수가 36개를 초과할 경우 가장 높은 안정성을 확보함.
• Scott-Knott ESD 검정을 통해 COPILOT는 모든 평가 지표(Acc, MCC, Kappa, F1, w_F1)에서 1위를 기록했으며, 대부분의 비교에서 큰 효과 크기(Cohen’s d > 1.0)를 보였다.
• 모델는 뛰어난 일반화 능력을 보이며, 데이터셋 내 8개의 모든 목표 프로젝트(예: Apache JMeter, Elasticsearch, JTree 포함)에서 최고 성능을 기록함.