[논문 리뷰] Automated Machine Learning for Deep Learning based Malware Detection

Austin L. Brown, Maanak Gupta외 1명|arXiv (Cornell University)|2023. 03. 03.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 악성코드 탐지용 딥러닝 모델의 설계 및 하이퍼파rameter 튜닝을 자동화하기 위해 자동화된 머신러닝(AutoML)을 사용하는 것을 제안하며, 최신 수준의 수작업으로 설계된 모델과 비슷하거나 그 이상의 성능을 달성한다. 이는 정적 분석(SOREL-20M 및 EMBER-2018)과 온라인 클라우드 기반 악성코드 탐지에서 AutoML의 효과성을 입증하며, 최소한의 전문가 간섭으로도 노이즈가 많은 실제 환경 조건에서 뛰어난 내구성을 보여준다.

ABSTRACT

Deep learning (DL) has proven to be effective in detecting sophisticated malware that is constantly evolving. Even though deep learning has alleviated the feature engineering problem, finding the most optimal DL model, in terms of neural architecture search (NAS) and the model's optimal set of hyper-parameters, remains a challenge that requires domain expertise. In addition, many of the proposed state-of-the-art models are very complex and may not be the best fit for different datasets. A promising approach, known as Automated Machine Learning (AutoML), can reduce the domain expertise required to implement a custom DL model. AutoML reduces the amount of human trial-and-error involved in designing DL models, and in more recent implementations can find new model architectures with relatively low computational overhead. This work provides a comprehensive analysis and insights on using AutoML for static and online malware detection. For static, our analysis is performed on two widely used malware datasets: SOREL-20M to demonstrate efficacy on large datasets; and EMBER-2018, a smaller dataset specifically curated to hinder the performance of machine learning models. In addition, we show the effects of tuning the NAS process parameters on finding a more optimal malware detection model on these static analysis datasets. Further, we also demonstrate that AutoML is performant in online malware detection scenarios using Convolutional Neural Networks (CNNs) for cloud IaaS. We compare an AutoML technique to six existing state-of-the-art CNNs using a newly generated online malware dataset with and without other applications running in the background during malware execution.In general, our experimental results show that the performance of AutoML based static and online malware detection models are on par or even better than state-of-the-art models or hand-designed models presented in literature.

연구 동기 및 목표

• AutoML가 악성코드 탐지에서 딥러닝 모델 개발을 자동화하는 데 실현 가능할지 평가하는 것.
• 모델 아키텍처 탐색 및 하이퍼파rameter 튜닝을 자동화하여 머신러닝 및 악성코드 분석 분야의 도메인 전문 지식 의존도를 줄이는 것.
• 대규모 정적 악성코드 데이터셋(SOREL-20M)과 도전적인, 적대적으로 구성된 데이터셋(EMBER-2018)에서 AutoML의 성능을 평가하는 것.
• 실시간 실행 데이터를 포함한 클라우드 IaaS 환경에서의 온라인 악성코드 탐지 시나리오에서 AutoML를 평가하는 것.
• NAS 및 하이퍼파rameter 튜닝 파라미터가 노이즈가 많은 조건에서 모델 성능과 내구성에 미치는 영향을 탐색하는 것.

제안 방법

• 정적 악성코드 데이터셋(SOREL-20M 및 EMBER-2018)에서 신경망 아키텍처 탐색(NAS) 및 하이퍼파rameter 최적화를 수행하기 위해 AutoML 프레임워크를 활용하였다.
• AutoML 파이프라인 내에서 기초 아키텍처로 전방향 신경망(FFNNs)과 컨볼루션 신경망(CNNs)을 사용하였다.
• 클라우드 IaaS 환경에서의 온라인 악성코드 탐지에 적합한 맞춤형 CNN 아키텍처를 한 번에 탐색하기 위해 온샷 AutoML를 적용하였다.
• NAS 프로세스 파라미터를 튜닝하여 그 영향을 모델 성능 및 내구성에 대해 평가하였다.
• 배경 응용 프로그램 노이즈 유무에 관계없이, 새로 수집한 온라인 악성코드 데이터셋에서 AutoML가 생성한 모델을 여섯 종류의 최신 수준의 CNN과 비교하였다.
• 모델 일반화 능력을 향상시키기 위해 보조 레이블과 다목적 최적화(예: 미분 가능 진화)를 통합하였다.

Figure 1: Example Convolutional Layer Output Shapes

실험 결과

연구 질문

• RQ1 대규모이고 도전적인 데이터셋에서 AutoML가 정적 악성코드 탐지용 딥러닝 모델 설계를 효과적으로 자동화할 수 있는가?
• RQ2 정적 악성코드 탐지에서 다양한 NAS 및 하이퍼파arameter 튜닝 설정에 따라 AutoML 성능은 어떻게 변화하는가?
• RQ3 실제 환경의 노이즈 조건을 반영한 노이즈가 많은 조건에서 AutoML가 수작업으로 설계된 최신 수준의 CNN보다 더 내구성 있고 성능이 뛰어난 모델을 생성할 수 있는가?
• RQ4 보조 레이블의 포함 여부가 AutoML 프로세스와 최종 모델 성능에 어떤 영향을 미치는가?
• RQ5 AutoML는 악성코드 및 딥러닝 분야의 전문 지식 의존도를 얼마나 줄일 수 있으며, 이와 동시에 탐지 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• AutoML가 생성한 모델은 SOREL-20M 및 EMBER-2018 데이터셋에서 최신 수준의 수작업으로 설계된 모델과 동등하거나 그 이상의 성능을 달성하였다.
• 온라인 악성코드 탐지에서 AutoML 접근법은 특히 실제 환경과 유사한 노이즈 조건에서 뛰어난 내구성을 보였다.
• AutoML는 수작업으로 설계하기 어려운 복잡한 셀 구조를 가진 CNN 아키텍처를 발견하여 기존 최신 수준의 CNN을 능가하는 성능을 보였다.
• 입력 데이터의 노이즈가 증가할수록 AutoML 모델과 수작업 모델 간의 성능 격차가 커지며, 이는 현실적인 조건에서의 더 뛰어난 일반화 능력을 시사한다.
• NAS 파라미터 튜닝은 모델 성능에 상당한 영향을 미치며, 이는 악성코드 탐지용 AutoML 파이프라인에서 구성 설정의 중요성을 강조한다.
• AutoML는 높은 탐지 정확도를 유지하면서도 모델 설계 및 하이퍼파arameter 튜닝에 있어 전문가 간섭을 줄였다.

Figure 2: Feed Forward Neural Network