[논문 리뷰] Improved Recognition of Security Bugs via Dual Hyperparameter Optimization.

Rui Shu, Tianpei Xia외 3명|arXiv (Cornell University)|2019. 11. 04.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 버그 보고서에서 희귀 보안 버그를 향상된 방식으로 탐지하기 위해 기계 학습 학습자와 데이터 전처리 방법을 동시에 최적화하는 이중 하이퍼파rameter 최적화 프레임워크인 SWIFT를 제안한다. 불필요한 계산을 줄이기 위해 에프실론-도미넌스를 사용함으로써, SWIFT는 크로미움에서 77.1%, 암바리에서 83.9%의 상당히 높은 재현율을 달성하면서도 22% 이하의 낮은 가짜 경고 비율을 유지하며, 이는 이전의 최첨단 방법들인 FARSEC을 능가한다.

ABSTRACT

Background: Security bugs need to be handled by small groups of engineers before being widely discussed (otherwise the general public becomes vulnerable to hackers that exploit those bugs). But learning how to separate the security bugs from other bugs is challenging since they may occur very rarely. Data mining that can find such scarce targets required extensive tuning effort. Goal: The goal of this research is to aid practitioners as they struggle to tune methods that try to distinguish security-related bug reports in a product's bug database, through the use of a dual hyperparameter optimizer that learns good settings for both learners and for data pre-processing methods. Method: The proposed method, named SWIFT, combines learner hyperparameter optimization and pre-processor hyperparameter optimization. SWIFT uses a technique called epsilon-dominance, the main idea of which is to ignore operations that do not significantly improve the performance. As a result, the optimization effort can be efficiently reduced. Result: When compared to recent state-of-the-art results (from FARSEC which is published in TSE'18), we find that SWIFT's dual optimization of both pre-processor and learner is more useful than optimizing each of them individually. For example, in a 10-way cross-validation study looking for security bugs from the Chromium web-browser, the FARSEC and SWIFT recalls were 20.4% and 77.1%, respectively, with false alarm rates under 20%. For another example, in experiments with data from the Ambari software project, recalls improved from 30.4 to 83.9% while false alarms remained under 22%. Conclusion: Overall, our approach shows advantages in achieving better performance in a fast way than existing stat-of-the-art method. Therefore, this encourages us in solving similar problems with dual optimization in the future work.

연구 동기 및 목표

• 희귀 보안 버그가 낮은 빈도로 발생하기 때문에 식별이 어려운 버그 데이터베이스에서 희귀 보안 버그를 탐지하는 문제를 해결한다.
• 기존의 기계 학습 모델과 데이터 전처리 기법을 최적화하기 위해 전통적으로 요구되는 광범위한 수동 튜닝 노력을 줄인다.
• 학습자와 전처리 하이퍼파rameter를 함께 최적화하여 보안 버그 탐지 성능을 향상시킨다.
• 의미 있는 성능 향상만을 고려함으로써 비의미적인 개선을 건너뛰는 에프실론-도미넌스를 통해 하이퍼파rameter 탐색을 더 빠르고 효율적으로 만든다.
• 학습자 또는 전처리기만 별도로 최적화하는 것과 비교해 이중 최적화가 훨씬 우수한 결과를 낼 수 있음을 보여준다.

제안 방법

• SWIFT는 기계 학습 학습자와 데이터 전처리 방법의 하이퍼파rameter를 동시에 최적화하는 이중 최적화 전략을 사용한다.
• 에프실론-도미넌스를 사용하여 사전 정의된 임계값 이하의 성능 향상을 걸러내어 불필요한 평가를 줄이고 수렴 속도를 높인다.
• 프레임워크는 데이터 전처리(예: 특징 공학, 필터링)와 모델 학습(예: 분류기 선택, 정규화)이라는 두 단계에 걸쳐 하이퍼파rameter 탐색을 통합한다.
• 에프실론-도미넌스는 사용자가 정의한 에프실론을 초월하는 성능 향상만을 고려함으로써, 의미 있는 성능 향상에 집중할 수 있도록 한다.
• 실제 웹 브라우저 버그 데이터베이스인 크로미움과 암바리에서 10겹 교차검증을 통해 평가되었다.
• 재현율과 가짜 경고 비율과 같은 성능 메트릭을 기반으로 최적화가 이뤄지며, 보안 버그 탐지 성능을 극대화하면서도 가짜 경고를 최소화하는 데 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 학습자 하이퍼파arameter와 전처리 하이퍼파arameter를 함께 최적화하는 것이 별도로 최적화하는 것보다 희귀 보안 버그 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 에프실론-도미넌스의 사용이 보안 버그 탐지에서 하이퍼파라미터 탐색의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 실제 웹 브라우저 데이터베이스에서 SWIFT가 FARSEC과 같은 최첨단 방법에 비해 재현율과 가짜 경고 비율 측면에서 얼마나 뛰어난가?
• RQ4 이중 최적화 접근법은 다양한 소프트웨어 프로젝트에서 높은 재현율을 크게 높이면서도 낮은 가짜 경고 비율을 유지할 수 있는가?
• RQ5 제안된 방법은 레이블이 부족한 실세계 산업용 버그 데이터베이스에 효과적으로 스케일링될 수 있는가?

주요 결과

• 크로미움 웹 브라우저 데이터셋에서 10겹 교차검증을 수행한 결과, SWIFT는 재현율 77.1%를 달성했으며, 이는 FARSEC의 20.4%에 비해 높은 성능이다. 가짜 경고 비율은 20% 이하로 유지되었다.
• 암바리 소프트웨어 프로젝트에서는 SWIFT가 재현율을 FARSEC의 30.4%에서 83.9%로 향상시켰으며, 가짜 경고 비율은 22% 이하로 유지되었다.
• 학습자와 전처리기의 이중 최적화가 별도로 최적화하는 것보다 유의미하게 뛰어난 성능을 보였다.
• 에프실론-도미넌스는 평가 횟수를 효과적으로 줄여 최적화 과정을 더 빠르고 효율적으로 만들었다.
• SWIFT는 다양한 소프트웨어 프로젝트에서 일관된 성능 향상을 보였으며, 이는 실세계 산업용 버그 데이터베이스에 일반화될 수 있음을 시사한다.
• 기존 방법으로는 일반적으로 식별이 어려운 극히 희귀한 보안 버그에 대해서도 높은 탐지 성능를 달성했다.