[논문 리뷰] The Performance of Machine and Deep Learning Classifiers in Detecting Zero-Day Vulnerabilities

Faranak Abri, Sima Siami‐Namini외 3명|arXiv (Cornell University)|2019. 11. 21.

Network Security and Intrusion Detection참고 문헌 17인용 수 9

한 줄 요약

이 논문은 악성 소프트웨어와 정상 소프트웨어로 구성된 데이터셋을 사용하여 10겹 교차검증을 통해 34종의 머신러닝 및 딥러닝 분류기의 제로데이 악성코드 탐지 성능을 평가한다. 랜덤 포레스트 분류기가 99.51%의 가장 높은 정확도를 기록하며 딥러닝 모델들조차도 앞서는 성과를 보였으며, 이는 제로데이 취약성 탐지에서 전통적인 머신러닝이 딥러닝보다 더 효과적이고 효율적일 수 있음을 시사한다.

ABSTRACT

The detection of zero-day attacks and vulnerabilities is a challenging problem. It is of utmost importance for network administrators to identify them with high accuracy. The higher the accuracy is, the more robust the defense mechanism will be. In an ideal scenario (i.e., 100% accuracy) the system can detect zero-day malware without being concerned about mistakenly tagging benign files as malware or enabling disruptive malicious code running as none-malicious ones. This paper investigates different machine learning algorithms to find out how well they can detect zero-day malware. Through the examination of 34 machine/deep learning classifiers, we found that the random forest classifier offered the best accuracy. The paper poses several research questions regarding the performance of machine and deep learning algorithms when detecting zero-day malware with zero rates for false positive and false negative.

연구 동기 및 목표

• 최소한의 가짜 양성 및 가짜 음성 결과를 얻기 위해 다양한 머신러닝 및 딥러닝 분류기의 제로데이 악성코드 탐지 성능을 평가하는 것.
• 기존의 머신러닝 알고리즘보다 딥러닝 모델이 미리 알려지지 않은 악성코드를 식별하는 데에서 뛰어나게 성능을 내는지 확인하는 것.
• 제로데이 취약성 탐지에서 모델 복잡도, 학습 비용, 탐지 정확도 간의 상호 상충 관계를 평가하는 것.
• 실제 시스템에 구현하기 위해 가장 효과적인 분류기를 식별하는 것.
• 서명 기반 접근법에 의존하지 않고도 기반 학습 모델이 고정확도의 제로데이 탐지 가능성을 실증적으로 입증하는 것.

제안 방법

• 연구는 기존의 머신러닝(예: SVM, 랜덤 포레스트), 얕은 신경망, 다수의 은닉층을 가진 딥러닝 신경망을 포함한 총 34종의 분류기들을 종합적으로 실험적으로 평가한다.
• 모델들은 데이터셋 전반에 걸쳐 일반화 능력과 견고성을 확보하기 위해 10겹 교차검증을 사용하여 학습 및 평가된다.
• 데이터셋은 레이블이 부여된 소프트웨어 샘플—정상 및 제로데이 악성코드—로 구성되어 있으며, 분류기의 학습 및 테스트에 사용된다.
• 성능 평가는 정확도, 정밀도, 재현율, F1 점수, ROC-AUC와 같은 표준 지표를 사용하며, 가짜 양성 및 가짜 음성 결과를 최소화하는 데 중점을 둔다.
• 딥러닝 모델에 대해 초파rameter 튜닝이 적용되며, 이는 층 수, 각 층의 뉴런 수, 배치 크기 등을 다양하게 조정한다.
• 분석은 단순한 다층퍼셉트론(MLP)부터 최대 7층까지의 깊은 네트워크까지 다양한 아키텍처 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기존의 머신러닝 모델이 제로데이 악성코드 탐지에서 딥러닝 모델을 능가할 수 있는가?
• RQ2 제로데이 취약성 탐지에서 모델의 깊이, 복잡도, 탐지 정확도 사이의 최적의 균형은 무엇인가?
• RQ3 딥러닝 모델이 가짜 양성 또는 가짜 음성 결과 없이 거의 완벽한 정확도(예: 99.5% 이상)를 달성할 수 있는가?
• RQ4 다양한 분류기 유형 간에 가짜 양성 및 가짜 음성 비율은 어떻게 변화하는가? 어떤 모델이 거의 영점 오차율을 달성할 수 있는가?
• RQ5 딥러닝의 높은 학습 비용이 단순한 모델(예: 랜덤 포레스트)보다 뚜렷한 성능 향상으로 이어지는가?

주요 결과

• 랜덤 포레스트 분류기가 99.51%의 가장 높은 탐지 정확도를 기록하며, 테스트된 모든 다른 모델, 딥러닝 아키텍처까지도 앞서는 성과를 보였다.
• 기대와는 달리, 딥러닝 모델들이 기존 머신러닝 모델들보다 뚜렷한 성능 향상을 보이지 않았으며, 일부 딥 네트워크는 200 에포크 후에도 단지 99.33%의 정확도를 기록했다.
• 더 단순한 딥러닝 모델들(예: 30,1 뉴런을 가진 MLP)이 더 깊고 큰 모델들(예: 100,80,60,40,20,10,1 뉴런을 가진 MLP)과 유사한 성능을 보였으며, 정확도 향상은 오직 0.26%에 그쳤다.
• 모든 모델이 100% 정확도를 달성하지 못했으며, 이는 최고의 분류기들조차도 일부 제로데이 악성코드 샘플을 잘못 분류한다는 것을 의미한다.
• 기존의 머신러닝 모델, 특히 랜덤 포레스트는 딥러닝 모델들보다 낮은 학습 비용과 더 빠른 추론 속도를 바탕으로 뛰어난 성능을 보였다.
• 결과적으로, 높은 정확도, 낮은 가짜 양성/가짜 음성 비율, 그리고 계산 효율성 덕분에 랜덤 포레스트는 제로데이 악성코드 탐지에 더 실용적이고 효과적인 선택임을 시사한다.