[논문 리뷰] AIBugHunter: A Practical Tool for Predicting, Classifying and Repairing Software Vulnerabilities

Michael C. Fu, Chakkrit Tantithamthavorn외 5명|arXiv (Cornell University)|2023. 05. 26.

Software Engineering Research인용 수 7

한 줄 요약

AIBugHunter는 Visual Studio Code에 통합된 기계학습 기반 도구로, C/C++ 소프트웨어 취약점에 대한 실시간 탐지, 분류, 심각도 추정 및 복구 제안을 가능하게 한다. 이 도구는 취약점 분류를 위한 새로운 다목적 최적화 기법과 심각도 추정을 위한 트랜스포머 기반 모델을 조합하여 최신 기술 수준의 정확도를 달성했으며, 사용자 연구에서 개발자들의 높은 수용도를 보였다.

ABSTRACT

Many ML-based approaches have been proposed to automatically detect, localize, and repair software vulnerabilities. While ML-based methods are more effective than program analysis-based vulnerability analysis tools, few have been integrated into modern IDEs, hindering practical adoption. To bridge this critical gap, we propose AIBugHunter, a novel ML-based software vulnerability analysis tool for C/C++ languages that is integrated into Visual Studio Code. AIBugHunter helps software developers to achieve real-time vulnerability detection, explanation, and repairs during programming. In particular, AIBugHunter scans through developers' source code to (1) locate vulnerabilities, (2) identify vulnerability types, (3) estimate vulnerability severity, and (4) suggest vulnerability repairs. In this article, we propose a novel multi-objective optimization (MOO)-based vulnerability classification approach and a transformer-based estimation approach to help AIBugHunter accurately identify vulnerability types and estimate severity. Our empirical experiments on a large dataset consisting of 188K+ C/C++ functions confirm that our proposed approaches are more accurate than other state-of-the-art baseline methods for vulnerability classification and estimation. Furthermore, we conduct qualitative evaluations including a survey study and a user study to obtain software practitioners' perceptions of our AIBugHunter tool and assess the impact that AIBugHunter may have on developers' productivity in security aspects. Our survey study shows that our AIBugHunter is perceived as useful where 90% of the participants consider adopting our AIBugHunter. Last but not least, our user study shows that our AIBugHunter could possibly enhance developers' productivity in combating cybersecurity issues during software development.

연구 동기 및 목표

• 기계학습 기반의 취약점 탐지 도구와 현대적인 IDE인 Visual Studio Code에서의 실질적 도입 간 격차를 메우기 위해.
• 소프트웨어 개발 과정에서 실시간으로 IDE 내부에서 보안 분석을 수행하여 시프트-레프트 보안 관행을 지원하기 위해.
• 복구 제안을 포함한 실행 가능한 설명 가능 취약점 인사이트를 제공함으로써 개발자 생산성을 향상시키기 위해.
• 취약점 예측에서 설명 가능한 AI의 부족함을 해결하기 위해 분류, 심각도 및 복구 제안에 대한 설명을 제공하기 위해.
• 설문조사와 사용자 연구를 통해 실무자들의 인식과 실제 영향을 평가하기 위해.

제안 방법

• 딥 러닝을 활용한 코드 시퀀스 기반으로 정밀한 라인 수준의 취약점 국소화를 위한 LineVul을 통합.
• 다양한 취약점 분류 작업을 동시에 최적화하기 위해 다목적 최적화(MOO) 프레임워크를 활용하여 훈련 중에 상충되는 목표를 균형 있게 조정.
• 맥락 기반 코드 표현을 활용해 취약점의 심각도를 추정하기 위해 트랜스포머 기반 아키텍처를 사용.
• 모델에 종속되지 않는 설명 가능성 기법(LIME 등)을 적용하여 예측, 분류 및 복구 제안에 대한 해석 가능한 설명을 제공.
• 코딩 중 실시간 정적 분석을 위해 VS Code 확장 프로그램으로 배포.
• 대규모 데이터셋(188K+개의 C/C++ 함수)의 이력 기반 취약점 데이터를 활용해 모델을 훈련 및 검증.

실험 결과

연구 질문

• RQ1 기계학습 기반의 취약점 분석 도구가 주요 IDE인 Visual Studio Code에 효과적으로 통합되어 실시간 보안 피드백을 제공할 수 있는가?
• RQ2 기존 최신 기술 수준의 방법과 비교해 복수의 취약점 유형을 동시에 분류하는 데 다목적 최적화 접근법의 정확도는 어떠한가?
• RQ3 트랜스포머 기반 모델이 188K+ 개의 함수를 포함한 대규모 C/C++ 데이터셋에서 취약점의 심각도 추정 정확도를 얼마나 향상시키는가?
• RQ4 소프트웨어 개발자들이 일상 개발 워크플로우에서 AI 기반 취약점 보조 도구의 유용성과 사용성에 대해 어떻게 평가하는가?
• RQ5 AIBugHunter이 개발자들이 보안 분석에 소요하는 시간을 얼마나 줄이고 생산성을 얼마나 향상시킬 수 있는가?

주요 결과

• AIBugHunter는 취약점 분류에서 최신 기술 수준의 성능을 달성하여 상위 1순위 예측 순위에서 CWE-119 버퍼 오류의 79%를 정확히 식별했다.
• 다양한 취약점 유형을 동시에 분류하는 데 다목적 최적화 접근법이 단일 작업 기반 베이스라인보다 뛰어난 성능을 보이며, 상충되는 목표 간의 일반화 능력 향상을 입증했다.
• 트랜스포머 기반의 심각도 추정 모델은 188K+ 개의 함수를 포함한 대규모 C/C++ 데이터셋에서 기존 베이스라인 방법보다 높은 정확도를 보였다.
• 21명의 실무자 대상 설문 조사에서 90%가 AIBugHunter를 자신의 개발 워크플로우에 도입할 의향이 있다고 응답하여 강력한 실용성 인식을 보였다.
• 사용자 연구를 통해 AIBugHunter가 개발자들이 보안 분석에 소요하는 시간을 줄이고, 취약점 식별 및 대응의 생산성을 향상시킬 수 있음을 입증했다.
• 이제 도구는 Visual Studio Code 마켓플레이스에서 공개적으로 이용 가능하며, 재현 가능성을 위해 GitHub에 훈련 데이터와 소스 코드가 공개되어 있다.