[논문 리뷰] Pre-trained Model-based Automated Software Vulnerability Repair: How Far are We?

Quanjun Zhang, Chunrong Fang외 4명|arXiv (Cornell University)|2023. 08. 24.

Software Engineering Research인용 수 7

한 줄 요약

이 논문은 자동 소프트웨어 취약성 수정을 위한 사전 훈련된 모델을 조사하여, 수리 정확도에서 기존의 최고 성능을 기록한 VRepair 접근 방식보다 평균 16.16% 높은 성능을 보임을 입증한다. 데이터 전처리, 모델 훈련, 추론 단계를 체계적으로 평가함으로써, 버그 수정에서 유래한 단순한 전이 학습 접근 방식이 성능을 평균 9.40% 향상시킴을 밝혀내었으며, 이는 향후 이 분야의 연구에 실용적인 지침을 제공한다.

ABSTRACT

Various approaches are proposed to help under-resourced security researchers to detect and analyze software vulnerabilities. It is still incredibly time-consuming and labor-intensive for security researchers to fix vulnerabilities. The time lag between reporting and fixing a vulnerability causes software systems to suffer from significant exposure to possible attacks. Recently, some techniques have proposed applying pre-trained models to fix security vulnerabilities and have proved their success in improving repair accuracy. However, the effectiveness of existing pre-trained models has not been systematically analyzed, and little is known about their advantages and disadvantages. To bridge this gap, we perform the first extensive study on applying various pre-trained models to vulnerability repair. The results show that studied pre-trained models consistently outperform the state-of-the-art technique VRepair with a prediction accuracy of 32.94%~44.96%. We also investigate the impact of major phases in the vulnerability repair workflow. Surprisingly, a simplistic approach adopting transfer learning improves the prediction accuracy of pre-trained models by 9.40% on average. Besides, we provide additional discussion to illustrate the capacity and limitations of pre-trained models. Finally, we further pinpoint various practical guidelines for advancing pre-trained model-based vulnerability repair. Our study highlights the promising future of adopting pre-trained models to patch real-world vulnerabilities.

연구 동기 및 목표

• 사전 훈련된 모델이 자동 소프트웨어 취약성 수정에서 효과적으로 작용하는지 체계적으로 평가하는 것.
• 실제 보안 취약성을 수정하는 데 있어 기존 사전 훈련된 모델의 강점과 한계를 규명하는 것.
• 데이터 전처리, 모델 훈련, 수리 추론과 같은 핵심 워크플로우 단계가 수리 성능에 미치는 영향을 조사하는 것.
• 버그 수정에서 유도된 단순한 전이 학습 접근 방식이 취약성 수정 정확도를 향상시킬 수 있는지 탐색하는 것.
• 향후 사전 훈련된 모델 기반의 취약성 수정 시스템 개발을 위한 실용적이고 실행 가능한 지침을 제공하는 것.

제안 방법

• 연구는 두 개의 공개 취약성 데이터셋을 대상으로 다양한 사전 훈련된 모델을 평가하며, 코드 수리 작업에 집중한다.
• 데이터 전처리, 취약성 수리 데이터에 대한 피팅 조정, 패치 생성을 위한 추론을 포함하는 체계적인 파이프라인을 구현한다.
• 버그 수정 코퍼스에서 사전 훈련된 가중치를 초기화하여, 일반적인 코드 수리 지식을 활용하는 전이 학습 전략을 적용한다.
• T5 및 CodeBERT와 같은 모델을 사용해 sequence-to-sequence 모델링을 수행하며, 레이블이 부여된 취약성-수리 쌍에 대해 피팅 조정한다.
• 다양한 사전 훈련된 아키텍처 간 성능을 비교하고, 데이터 표현 및 피팅 조정 전략이 미치는 영향을 분석한다.
• 모든 수리 파이프라인 단계에서 탈락 분석(Ablation study)을 수행하여 각 단계가 최종 정확도에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: VRepair와 같은 기존 기법 대비 최신 사전 훈련된 모델이 자동 취약성 수정에서 얼마나 효과적인가?
• RQ2 RQ2: 다양한 데이터 전처리 전략이 사전 훈련된 모델의 취약성 수정 성능에 어떤 영향을 미치는가?
• RQ3 RQ3: 모델 훈련 하이퍼파라미터와 피팅 조정 전략이 수리 정확도에 어떤 영향을 미치는가?
• RQ4 RQ4: 수리 추론 단계가 생성된 패치의 품질과 정확성에 어떤 영향을 미치는가?
• RQ5 RQ5: 버그 수정에서 유도된 단순한 전이 학습 접근 방식이 사전 훈련된 모델의 취약성 수정 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 모든 연구된 사전 훈련된 모델이 VRepair를 초월하여, 두 개의 취약성 데이터셋에서 예측 정확도가 32.94%에서 44.96%까지 달성된다.
• 평균적으로 사전 훈련된 모델은 VRepair 대비 수리 정확도를 16.16% 향상시켜 뚜렷한 성능 향상을 보인다.
• 버그 수정 코퍼스에서 지식을 전이하는 단순한 접근 방식이 사전 훈련된 모델의 성능을 평균 9.40% 향상시킨다.
• 데이터 전처리 및 피팅 조정 전략은 모델의 효과성에 측정 가능한 영향을 미치며, 최적의 설정이 정확도를 높인다.
• 연구는 코드 표현 방식과 모델 초기화 방식이 수리 성공 여부를 결정하는 데 핵심적인 역할을 한다고 규명한다.
• 실용적인 지침이 도출되었으며, 피팅 조정 전략의 중요성과 ChatGPT와 같은 모델을 활용한 제로샷 또는 희소샷 적응의 잠재력을 포함한다.