[论文解读] ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation

Ethan M. Rudd, Felipe N. Ducau+3 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Malware Detection Techniques参考文献 29被引用 8

一句话总结

本文提出 ALOHA，一种多任务学习框架，通过利用来自威胁情报元数据（如多源标签、检测次数和语义标签）的多个辅助损失函数来训练深度神经网络，从而提升恶意软件检测性能——与单任务基线相比，在 10^{-5} FPR 下将假阴性率降低了 53.8%，在 10^{-3} FPR 下降低了 42.6%。

ABSTRACT

Malware detection is a popular application of Machine Learning for Information Security (ML-Sec), in which an ML classifier is trained to predict whether a given file is malware or benignware. Parameters of this classifier are typically optimized such that outputs from the model over a set of input samples most closely match the samples' true malicious/benign (1/0) target labels. However, there are often a number of other sources of contextual metadata for each malware sample, beyond an aggregate malicious/benign label, including multiple labeling sources and malware type information (e.g., ransomware, trojan, etc.), which we can feed to the classifier as auxiliary prediction targets. In this work, we fit deep neural networks to multiple additional targets derived from metadata in a threat intelligence feed for Portable Executable (PE) malware and benignware, including a multi-source malicious/benign loss, a count loss on multi-source detections, and a semantic malware attribute tag loss. We find that incorporating multiple auxiliary loss terms yields a marked improvement in performance on the main detection task. We also demonstrate that these gains likely stem from a more informed neural network representation and are not due to a regularization artifact of multi-target learning. Our auxiliary loss architecture yields a significant reduction in detection error rate (false negatives) of 42.6% at a false positive rate (FPR) of $10^{-3}$ when compared to a similar model with only one target, and a decrease of 53.8% at $10^{-5}$ FPR.

研究动机与目标

• 通过利用来自威胁情报数据源的丰富多源元数据作为辅助训练目标，提升恶意软件检测性能。
• 探究多目标学习带来的性能提升是否源于表征能力的改善，还是仅源于正则化效应。
• 开发一种稳健的样本级损失加权方案，以在训练过程中处理缺失或不完整的元数据。
• 评估不同类型的辅助损失（二值、泊松、多标签）在不同假阳性率阈值下的检测性能影响。
• 证明辅助损失优化可提升模型泛化能力，而无需改变输入特征空间或额外收集数据。

提出的方法

• 使用多个辅助损失函数训练深度神经网络：针对多源恶意/良性标签使用二元交叉熵损失，针对检测次数预测使用泊松损失，针对语义恶意软件属性标签使用多标签交叉熵损失。
• 实现一种样本级损失加权方案，根据标签可用性动态调整损失贡献，即使在元数据不完整的情况下也能实现有效训练。
• 在所有辅助头中使用共享的特征编码器，以确保表征一致性并联合优化所有目标。
• 通过受试者工作特征曲线下面积（ROC曲线）和不同假阳性率阈值（如 10^{-3}、10^{-5}）下的检测错误率来评估模型性能。
• 开展消融研究以分离每种辅助损失的贡献，并评估其单独及联合影响。
• 进行消融与分析，以区分性能提升的根源是表征能力改善还是正则化效应。

实验结果

研究问题

• RQ1 将来自威胁情报元数据的多种辅助损失整合是否能显著提升主任务恶意软件检测性能？
• RQ2 性能提升是源于神经网络表征能力的改善，还是仅因多目标训练带来的正则化效应？
• RQ3 不同类型的辅助损失（如二值、计数、多标签）在不同假阳性率区间下如何影响检测性能？
• RQ4 辅助损失优化是否能在低 FPR 区域（假阴性最为关键）提升检测能力？
• RQ5 所提出的框架能否在不降低性能的前提下处理缺失或不完整的元数据？

主要发现

• 整合所有辅助损失后，在假阳性率为 10^{-5} 时，检测错误率（假阴性率）相比单任务基线降低了 53.8%。
• 在假阳性率为 10^{-3} 时，使用所有辅助损失可使检测错误率降低 42.6%。
• 在低假阳性率（≤ 10^{-3}）下，多标签厂商和语义属性标签损失对性能影响最大，显著提升了关键运行区域的检测能力。
• 检测次数的泊松损失显著提升了 AUC，并在较高假阳性率（≥ 10^{-3}）下改善了检测性能。
• 性能提升归因于更具信息量和泛化能力的神经网络表征，而非多任务学习带来的单纯正则化效应。
• 模型在所有 FPR 水平下均表现出更低方差的 ROC 曲线，表明检测性能更加稳定可靠。