[논문 리뷰] Better Security Bug Report Classification via Hyperparameter Optimization

Rui Shu, Tianpei Xia외 2명|arXiv (Cornell University)|2019. 05. 16.

Software Engineering Research참고 문헌 62인용 수 30

한 줄 요약

이 논문은 기계학습 학습기와 데이터 전처리에 대한 초파rameter 최적화를 적용하여 보안 버그 보고서 분류를 향상시킨다. 특히 클래스 불균형 문제를 다루는 데 중점을 두며, pre-processor 최적화—특히 SMOTUNED를 사용함으로써 기존 기준 대비 상당히 높은 재현율(최대 65%)을 달성하면서도 거짓 경고 증가 폭은 중간 수준을 유지하여 학습기 초파라미터 최적화를 능가한다.

ABSTRACT

When security bugs are detected, they should be (a)~discussed privately by security software engineers; and (b)~not mentioned to the general public until security patches are available. Software engineers usually report bugs to bug tracking system, and label them as security bug reports (SBRs) or not-security bug reports (NSBRs), while SBRs have a higher priority to be fixed before exploited by attackers than NSBRs. Yet suspected security bug reports are often publicly disclosed because the mislabelling issues ( i.e., mislabel security bug reports as not-security bug report). The goal of this paper is to aid software developers to better classify bug reports that identify security vulnerabilities as security bug reports through parameter tuning of learners and data pre-processor. Previous work has applied text analytics and machine learning learners to classify which reported bugs are security related. We improve on that work, as shown by our analysis of five open source projects. We apply hyperparameter optimization to (a)~the control parameters of a learner; and (b)~the data pre-processing methods that handle the case where the target class is a small fraction of all the data. We show that optimizing the pre-processor is more useful than optimizing the learners. We also show that improvements gained from our approach can be very large. For example, using the same data sets as recently analyzed by our baseline approach, we show that adjusting the data pre-processing results in improvements to classification recall of 35% to 65% (median to max) with moderate increment of false positive rate.

연구 동기 및 목표

• 보안 버그 보고서(SBRs)가 비보안 보고서(NSBRs)로 잘못 분류되는 심각한 문제를 해결함으로써 패치 적용 지연과 악용 위험 증가를 방지한다.
• 기존의 FARSEC 방법을 개선하기 위해 학습기와 데이터 전처리 기법 양쪽에 초파라미터 최적화를 적용하여 분류 성능을 향상시킨다.
• 데이터 전처리(특히 클래스 불균형에 대한 대응) 최적화가 기계학습 모델의 초파라미터 최적화보다 더 큰 성능 향상을 가져오는지 조사한다.
• 최적화된 전처리를 통해 더 나은 데이터 준비가 취약점 탐지에서 더 나은 모델 튜닝보다 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 보안 버그 보고서와 비보안 버그 보고서의 분류 향상을 위해 기계학습 학습기(SVM, 랜덤 포레스트 등)와 데이터 전처리 기법 양쪽에 초파라미터 최적화를 적용하였다.
• SBRs가 전체 보고서의 0.8%에 불과한 불균형 데이터셋에서 클래스 불균형 문제를 해결하기 위해 SMOTUNED—SMOTE(Synthetic Minority Over-sampling Technique)의 최적화된 버전—를 사용하였다.
• 외곽치 제거 및 소수 클래스 샘플링를 제어하는 전처리 파라미터를 최적화하여 불균형 데이터에서의 모델 일반화 능력을 향상시켰다.
• 동일한 데이터셋과 전처리된 데이터를 사용하여 FARSEC 기준을 재현함으로써 성능 향상 여부를 직접 비교할 수 있도록 하였다.
• 표준 평가 지표인 재현율, 정밀도, F1 점수를 사용하여 결과를 평가하였으며, 희귀 SBRs의 재현율 향상에 중점을 두었다.
• 전처리(예: SMOTUNED)가 훈련 데이터에만 적용되도록 하여 데이터 泄露를 방지하였다.

실험 결과

연구 질문

• RQ1 RQ1: 데이터 전처리기의 초파라미터 최적화가 기본 설정 대비 보안 버그 보고서 분류 성능을 상당히 향상시킬 수 있는가?
• RQ2 RQ2: SBR 분류 맥락에서 데이터 전처리기 최적화가 기계학습 학습기의 초파라미터 최적화보다 더 큰 성능 향상을 가져오는가?
• RQ3 RQ3: 다양한 오픈소스 프로젝트에서 제안된 방법의 성능은 기준 FARSEC 방법과 비교해 재현율과 거짓 경고 비율 측면에서 어떻게 다른가?

주요 결과

• 특히 SMOTUNED를 사용한 데이터 전처리기 최적화가 기계학습 모델 초파라미터 최적화보다 상당히 높은 재현율 향상을 이끌어냈다.
• FARSEC 연구에서 사용된 동일한 데이터셋을 바탕으로 전처리기 최적화 후 재현율이 중앙값에서 33%에서 66%로, 최대값에서 65%로 상승하였으며, 거짓 경고 비율은 중간 수준으로만 상승하였다.
• 재현율 향상은 SBR 비율이 매우 낮은 프로젝트—특히 크롬 프로젝트에서 두드러졌다. 이 경우 재현율은 15%에서 77%로 상승하였다.
• 결과는 '더 나은 데이터'(최적화된 전처리를 통한)가 '더 나은 학습기'(초파라미터 최적화를 통한)보다 성능이 뛰어나다는 것을 확인하며, 본 연구의 가설—이 맥락에서 데이터 품질이 모델 튜닝보다 더 중요하다—를 지지한다.
• 이 연구는 테스트 데이터에 SMOTUNED나 유사한 전처리 기법을 적용할 경우 데이터 泄露가 발생하고 결과가 잘못됨을 입증하며, 이러한 방법이 반드시 훈련 데이터에만 적용되어야 한다는 점을 재확인한다.