[论文解读] AI assisted Malware Analysis: A Course for Next Generation Cybersecurity Workforce

Maanak Gupta, Sudip Mittal+1 more|arXiv (Cornell University)|Sep 21, 2020

Advanced Malware Detection Techniques被引用 7

一句话总结

本文提出了一门以实验为主的大学课程，聚焦人工智能辅助恶意软件分析，以应对日益扩大的网络安​​全人才缺口。课程将人工智能/机器学习技术与六个模块中的真实世界恶意软件数据集相结合，涵盖威胁情报、特征提取、检测、分类、对抗性学习和高级持续性威胁（APT）分析，使学生能够使用 scikit-learn、PyTorch 和 CleverHans 等工具，掌握恶意软件检测与防御的实际技能。

ABSTRACT

The use of Artificial Intelligence (AI) and Machine Learning (ML) to solve cybersecurity problems has been gaining traction within industry and academia, in part as a response to widespread malware attacks on critical systems, such as cloud infrastructures, government offices or hospitals, and the vast amounts of data they generate. AI- and ML-assisted cybersecurity offers data-driven automation that could enable security systems to identify and respond to cyber threats in real time. However, there is currently a shortfall of professionals trained in AI and ML for cybersecurity. Here we address the shortfall by developing lab-intensive modules that enable undergraduate and graduate students to gain fundamental and advanced knowledge in applying AI and ML techniques to real-world datasets to learn about Cyber Threat Intelligence (CTI), malware analysis, and classification, among other important topics in cybersecurity. Here we describe six self-contained and adaptive modules in "AI-assisted Malware Analysis." Topics include: (1) CTI and malware attack stages, (2) malware knowledge representation and CTI sharing, (3) malware data collection and feature identification, (4) AI-assisted malware detection, (5) malware classification and attribution, and (6) advanced malware research topics and case studies such as adversarial learning and Advanced Persistent Threat (APT) detection.

研究动机与目标

• 解决网络安全专业人才在人工智能和机器学习用于恶意软件分析方面严重短缺的问题。
• 通过实践实验，弥合人工智能/机器学习理论教育与网络安全领域实际应用之间的差距。
• 为本科和研究生学生提供网络威胁情报（CTI）、恶意软件分类和对抗性机器学习方面的应用知识。
• 将行业相关的 AI 技术整合到学术课程中，为下一代网络安全人才做好准备。
• 提供一种可扩展、模块化的课程体系，可适配计算机科学和网络安全专业，且对机器学习和网络安全基础设有明确先修要求。

提出的方法

• 开发六个自包含、实验密集的模块，涵盖威胁情报、恶意软件知识表示、数据收集、基于人工智能的检测、分类以及高级主题。
• 使用真实世界的数据集（如 Kaggle 恶意软件数据集）训练和评估分类模型。
• 使用 Python 框架（包括 scikit-learn、PyTorch 和 TensorFlow）实现人工智能/机器学习算法，用于检测和分类任务。
• 通过使用 CleverHans 库的实验，引入对抗性机器学习技术，以生成和防御对抗性样本。
• 依据 NIST 指南，设计并评估基于组织使用场景的恶意软件分类方案。
• 融入真实勒索软件攻击和 APT 的案例研究，将基于人工智能的检测置于真实世界场景中进行情境化教学。

实验结果

研究问题

• RQ1 如何有效将人工智能和机器学习整合到学术课程中，以培养学生在真实世界恶意软件分析方面的能力？
• RQ2 在多样化的恶意软件家族和攻击向量中，哪些是最有效的 AI/ML 技术用于检测和分类恶意软件？
• RQ3 如何在教育环境中通过实践实验教学对抗性机器学习攻击，并加以缓解？
• RQ4 网络威胁情报（CTI）在提升人工智能辅助恶意软件检测的准确性和上下文相关性方面发挥什么作用？
• RQ5 模块化、实验驱动的课程结构如何提升学生在人工智能驱动的网络安全领域的实践能力，超越纯理论知识？

主要发现

• 该课程成功地将人工智能和机器学习技术与真实世界的恶意软件数据集相结合，使学生能够发展出恶意软件检测与分类的实际技能。
• 使用课程模块训练的学生在 Kaggle 数据集上，通过特征选择和机器学习算法，对恶意软件进行九类分类时，模型准确率得到显著提升。
• 利用 CleverHans 开展的对抗性样本生成与防御实验，使学生理解攻击者如何操纵人工智能模型，并掌握通过对抗性训练提升模型鲁棒性的方法。
• 课程结构强调实践实验和真实世界案例研究，有效帮助学生应对人工智能辅助网络安全领域的行业相关挑战。
• 将 NIST 恶意软件分类框架整合到课程中，使学生能够根据组织风险和威胁上下文对安全事件进行优先级排序。
• 该课程填补了关键的人才缺口：73% 的大型组织正在测试或使用人工智能于网络安全领域，但很少有学术课程提供该领域的应用型人工智能/机器学习培训。