[논문 리뷰] ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation

Ethan M. Rudd, Felipe N. Ducau외 3명|arXiv (Cornell University)|2019. 03. 13.

Advanced Malware Detection Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 악성코드 탐지 성능을 햖을 때, 위협 지능 메타데이터에서 유도된 다중 보조 손실 함수(다중 소스 레이블, 탐지 수, 의미적 태그 등)를 기반으로 하는 딥 네ural 네트워크를 훈련하는 다중 작업 학습 프레임워크인 ALOHA를 제안한다. 이로 인해 단일 작업 기반 베이스라인 대비 10^{-5} FPR에서 53.8% 감소하고 10^{-3} FPR에서 42.6% 감소한 양의 거짓 음성 비율를 기록한다.

ABSTRACT

Malware detection is a popular application of Machine Learning for Information Security (ML-Sec), in which an ML classifier is trained to predict whether a given file is malware or benignware. Parameters of this classifier are typically optimized such that outputs from the model over a set of input samples most closely match the samples' true malicious/benign (1/0) target labels. However, there are often a number of other sources of contextual metadata for each malware sample, beyond an aggregate malicious/benign label, including multiple labeling sources and malware type information (e.g., ransomware, trojan, etc.), which we can feed to the classifier as auxiliary prediction targets. In this work, we fit deep neural networks to multiple additional targets derived from metadata in a threat intelligence feed for Portable Executable (PE) malware and benignware, including a multi-source malicious/benign loss, a count loss on multi-source detections, and a semantic malware attribute tag loss. We find that incorporating multiple auxiliary loss terms yields a marked improvement in performance on the main detection task. We also demonstrate that these gains likely stem from a more informed neural network representation and are not due to a regularization artifact of multi-target learning. Our auxiliary loss architecture yields a significant reduction in detection error rate (false negatives) of 42.6% at a false positive rate (FPR) of $10^{-3}$ when compared to a similar model with only one target, and a decrease of 53.8% at $10^{-5}$ FPR.

연구 동기 및 목표

• 위협 지능 피드에서 유래한 풍부한 다중 소스 메타데이터를 보조 훈련 타깃으로 활용하여 악성코드 탐지 성능을 향상시키는 것.
• 다중 타깃 학습에서의 성능 향상 요인이 개선된 표현 능력인지, 단지 다중 목표 훈련에 의한 정규화 효과인지 파악하는 것.
• 훈련 중에 메타데이터가 누락되거나 불완전한 경우에도 성능이 저하되지 않도록 하는 안정적인 샘플별 손실 가중치 설정 기법을 개발하는 것.
• 다양한 거짓 양성 비율 임계값에서 다양한 보조 손실 유형(이진, 포아송, 다중 레이블)이 탐지 성능에 미치는 영향을 평가하는 것.
• 보조 손실 최적화가 입력 특징 공간을 변경하거나 추가 데이터 수집을 요구하지 않더라도 모델의 일반화 능력을 향상시킨다는 것을 입증하는 것.

제안 방법

• 이진 교차 엔트로피 손실(다중 소스 악성/정상 레이블용), 포아송 손실(탐지 수 예측용), 다중 레이블 교차 엔트로피 손실(의미적 악성코드 속성 태그용)을 포함한 다중 보조 손실 함수를 활용한 딥 네URAL 네트워크 훈련.
• 레이블 가용성에 따라 손실 기여도를 동적으로 조정하는 샘플별 손실 가중치 설정 기법을 구현하여, 메타데이터가 불완전한 경우에도 효과적인 훈련을 가능하게 하는 것.
• 모든 보조 헤드에서 공유되는 특징 인코더를 사용하여 표현 일관성과 모든 목표의 공동 최적화를 보장하는 것.
• ROC 곡선과 다양한 거짓 양성 비율 임계값(예: 10^{-3}, 10^{-5})에서의 탐지 오차율을 통해 모델 성능을 평가하는 것.
• 각 보조 손실 유형의 기여도를 분리하고 그 개별 및 통합 효과를 평가하기 위해 아블레이션 연구를 수행하는 것.
• 표현 개선과 정규화 효과 중 성능 향상의 근본 원인이 무엇인지 구분하기 위해 아블레이션 및 분석을 수행하는 것.

실험 결과

연구 질문

• RQ1 위협 지능 메타데이터에서 유도된 다중 보조 손실을 통합함으로써 주 작업인 악성코드 탐지 성능이 유의미하게 향상되는가?
• RQ2 성능 향상 요인이 개선된 신경망 표현 능력 때문인지, 단지 다중 목표 훈련에 의한 정규화 효과 때문인가?
• RQ3 이진, 수량, 다중 레이블 등의 다양한 보조 손실 유형이 다양한 거짓 양성 비율 영역에서 탐지 성능에 어떤 영향을 미치는가?
• RQ4 보조 손실 최적화가 거짓 음성이 가장 중요한 임계 영역인 저 FPR 영역에서 탐지 성능을 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 메타데이터가 누락되거나 불완전한 경우에도 성능 저하 없이 처리할 수 있는가?

주요 결과

• 모든 보조 손실을 통합한 결과, 단일 작업 기반 베이스라인 대비 10^{-5} FPR에서 탐지 오차율(거짓 음성 비율)이 53.8% 감소하였다.
• 10^{-3} FPR에서 모든 보조 손실을 사용한 결과, 탐지 오차율은 42.6% 감소하였다.
• 다중 레이블 벤더 및 의미적 속성 태그 손실이 저 FPR 영역(≤ 10^{-3})에서 가장 강력한 영향을 미쳤으며, 핵심 운영 영역에서의 탐지 성능을 향상시켰다.
• 탐지 수에 대한 포아송 손실은 AUC 향상에 가장 큰 기여를 하였으며, 높은 FPR 영역(≥ 10^{-3})에서 탐지 성능을 향상시켰다.
• 성능 향상 요인이 다중 작업 학습에 의한 정규화 효과가 아니라, 더 정보가 풍부하고 일반화 능력이 뛰어난 신경망 표현 덕분임을 확인하였다.
• 모든 FPR 수준에서 일관되게 변동성이 낮은 ROC 곡선을 기록하여, 더 안정적이고 신뢰할 수 있는 탐지 성능을 보였다.