[논문 리뷰] Defect Identification, Categorization, and Repair: Better Together

Chao Ni, Kaiwen Yang외 4명|arXiv (Cornell University)|2022. 04. 11.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 기능 수준의 결함을 식별하고 유형을 분류하며, 다중분류 및 시퀀스 생성 기반 접근 방식을 사용해 자동으로 수정하는 통합 프레임워크인 CompDefect를 제안한다. 새로운 대규모 기능 수준 데이터셋에서 최신 기술 수준 성능을 달성하며, 이전 방법 대비 F1 점수 최대 41.7% 향상 및 수정 정확도 29.5% 향상 달성.

ABSTRACT

Just-In-Time defect prediction (JIT-DP) models can identify defect-inducing commits at check-in time. Even though previous studies have achieved a great progress, these studies still have the following limitations: 1) useful information (e.g., semantic information and structure information) are not fully used; 2) existing work can only predict a commit as buggy one or clean one without more information about what type of defect it is; 3) a commit may involve changes in many files, which cause difficulty in locating the defect; 4) prior studies treat defect identification and defect repair as separate tasks, none aims to handle both tasks simultaneously. In this paper, to handle aforementioned limitations, we propose a comprehensive defect prediction and repair framework named CompDefect, which can identify whether a changed function (a more fine-grained level) is defect-prone, categorize the type of defect, and repair such a defect automatically if it falls into several scenarios, e.g., defects with single statement fixes, or those that match a small set of defect templates. Generally, the first two tasks in CompDefect are treated as a multiclass classification task, while the last one is treated as a sequence generation task. The whole input of CompDefect consists of three parts (exampled with positive functions): the clean version of a function (i.e., the version before defect introduced), the buggy version of a function and the fixed version of a function. In multiclass classification task, CompDefect categorizes the type of defect via multiclass classification with the information in both the clean version and the buggy version. In code sequence generation task, CompDefect repairs the defect once identified or keeps it unchanged.

연구 동기 및 목표

• 기존 Just-In-Time 결함 예측(JIT-DP) 방법이 전체 의미적 및 구조적 코드 정보를 활용하지 못하는 한계를 해결한다.
• 커밋 수준의 결함 예측이 과도하게 거시적이라는 점을 극복하기 위해 세밀한 기능 수준의 결함 식별 및 유형 분류를 가능하게 한다.
• 다수의 파일 변경을 포함한 전체 커밋이 아닌 개별 함수에 집중함으로써 결함 국소화를 향상시킨다.
• 결함 예측과 자동 수정을 하나의 통합 프레임워크로 통합하여 체크인 시점에 종단 간 결함 처리를 가능하게 한다.
• 종합적인 평가를 지원하기 위해 청소된, 버그가 있는, 수정된 코드 버전을 포함한 대규모 기능 수준 데이터셋을 개발한다.

제안 방법

• CompDefect는 각 기능에 대해 세 가지 입력을 처리한다: 청소된 버전, 버그가 있는 버전, 수정된 버전으로, 결함 예측과 수정의 공동 학습을 가능하게 한다.
• 결함 식별 및 분류 작업은 GraphCodeBERT를 사용해 코드의 의미적 및 구조적 정보를 인코딩함으로써 다중분류 작업으로 모델링한다.
• 결함 수정은 입력이 버그가 있는 코드이고 출력이 수정된 코드인 시퀀스 투 시퀀스 생성 작업으로 모델링한다.
• 코드의 깊은 의미적 및 구조적 정보를 포착하기 위해 사전 훈련된 모델(예: GraphCodeBERT)을 활용함으로써 표현 학습을 향상시킨다.
• 21,047개의 인스턴스를 포함한 새로운 기능 수준 데이터셋인 Function-SStuBs4J가 개발되었으며, 각 인스턴스는 세 가지 코드 버전(청소, 버그, 수정)을 포함한다.
• 분류 및 시퀀스 생성을 위한 교차 엔트로피 손실을 사용해 종단 간으로 모델을 훈련함으로써 결함 탐지 및 수정의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 독립된 예측 또는 수정 시스템을 넘어서, 통합 프레임워크가 기능 수준의 결함 식별, 분류, 자동 수정을 동시에 향상시킬 수 있는가?
• RQ2 다중 버전의 코드 입력과 함께 사용될 때, GraphCodeBERT와 같은 사전 훈련된 코드 모델이 결함 탐지 및 수정에 얼마나 기여하는가?
• RQ3 F1 점수, AUC, BLEU, 정확도 등 다양한 지표에서 CompDefect는 최신 기술 수준 기준 대비 어떤 성능을 보이는가?
• RQ4 특히 한 줄 수정에 대해 프레임워크가 기능 수준에서 결함을 효과적으로 국소화하고 높은 정확도로 수정할 수 있는가?
• RQ5 청소된 코드와 수정된 코드 버전을 포함함으로써, 빌드된 코드만을 사용하는 모델 대비 모델의 결함 탐지 및 수정 능력은 얼마나 향상되는가?

주요 결과

• 결함 식별 작업에서 CompDefect는 DeepJIT와 CC2Vec 대비 F1 점수 39.0% 향상 및 AUC 34.7% 향상 달성.
• 결함 분류 작업에서 CompDefect는 BERT, RoBERTa, CodeBERT와 같은 사전 훈련된 모델의 평균 F1 점수를 최소 63.0% 향상시켰다.
• 결함 수정 작업에서 CompDefect는 SequenceR 대비 BLEU 점수 23.9% 향상 및 정확도 29.5% 향상 달성.
• 제안된 Function-SStuBs4J 데이터셋은 세 가지 코드 버전과 다수의 결함 유형을 포함한 가장 큰 공개 기능 수준 데이터셋이다.
• CompDefect는 다양한 벤치마크 및 설정에서 강력한 일반화 능력을 보이며, 평가된 모든 작업에서 최신 기술 수준 모델을 압도한다.
• 청소된 코드와 수정된 코드 버전의 통합은 빌드된 코드만을 사용하는 모델 대비 모델의 결함 탐지 및 수정 능력을 크게 향상시킨다.