[论文解读] Autonomic Intrusion Response in Distributed Computing using Big Data

Kleber Vieira, Fernando Koch+3 more|arXiv (Cornell University)|Jan 1, 2018

Network Security and Intrusion Detection参考文献 24被引用 1

一句话总结

本文提出了一种用于分布式计算环境的自适应入侵响应系统，该系统利用大数据分析与自适应计算原则，实现对网络威胁的检测、分类及自主响应。通过采用基于MapReduce的并行处理的监控-分析-规划-执行-知识（MAP-K）架构，系统实现了低延迟、可扩展的响应，公共云测试中处理时间为950秒，效用得分为0.3403，显著提升了响应有效性。

ABSTRACT

We introduce a method for Intrusion Detection based on the classification, understanding and prediction of behavioural deviance and potential threats, issuing recommendations, and acting to address eminent issues. Our work seeks a practical solutions to automate the process of identification and response to Cybersecurity threats in hybrid Distributed Computing environments through the analysis of large datasets generated during operations. We are motivated by the growth in utilisation of Cloud Computing and Edge Computing as the technology for business and social solutions. The technology mix and complex operation render these environments target to attacks like hijacking, man-in-the-middle, denial of service, phishing, and others. The Autonomous Intrusion Response System implements innovative models of data analysis and context-aware recommendation systems to respond to attacks and self-healing. We introduce a proof-of-concept implementation and evaluate against datasets from experimentation scenarios based on public and private clouds. The results present significant improvement in response effectiveness and potential to scale to large environments.

研究动机与目标

• 弥合复杂异构分布式计算环境中入侵检测与自动化响应之间的关键技术鸿沟。
• 开发一种具备自愈能力、上下文感知的系统，以减少在网络安全事件响应中对人工干预的依赖。
• 实现对混合云与边缘基础设施中大规模审计数据的可扩展、实时分析。
• 在私有云与公共云环境中验证所提出架构的可行性与性能表现。
• 通过可扩展的知识与学习能力，为未来认知型入侵检测系统奠定基础。

提出的方法

• 采用受自适应计算启发的监控-分析-规划-执行-知识（MAP-K）架构，实现系统自我管理与自动化响应。
• 利用基于MapReduce的大数据分析技术，在分布式集群中并行处理大规模系统日志与审计数据。
• 通过预定义的攻击特征知识库，采用模式匹配技术检测已知威胁。
• 应用期望效用理论，基于成本、有效性与上下文因素评估并选择最优响应措施。
• 集成推荐引擎，利用效用函数对响应动作进行优先级排序，以平衡响应有效性与资源成本。
• 在私有云与公共云测试平台中，实现包含监控、规划、执行与知识组件的原型系统。

实验结果

研究问题

• RQ1 基于大数据分析，自适应入侵响应系统是否能有效缩短分布式计算环境中的响应时间？
• RQ2 将自适应计算原则与大数据分析相结合，如何提升检测与响应的准确性、可扩展性？
• RQ3 在真实云环境中，所提出系统的处理时间、响应延迟及响应动作效用表现如何？
• RQ4 该系统在异构、混合云与边缘基础设施中的可扩展性达到何种程度？
• RQ5 在资源受限条件下，基于效用的决策模型在选择最优响应动作方面的有效性如何？

主要发现

• 在公共云环境中，系统总处理时间为950秒，表明其具备实时威胁响应的可接受延迟。
• 最有效的响应动作获得0.340309094的效用得分，表明其在成本控制下具有较高响应有效性。
• 由于计算资源更充裕，公共云环境在各系统步骤间表现出更短的时间延迟，凸显其可扩展性优势。
• 原型系统在私有云与公共云环境中均成功处理了大规模访问日志，证实了其在真实场景中的可行性。
• 系统在响应有效性方面表现出显著提升，且在大规模复杂分布式环境中具备强大的可扩展潜力。
• 该方法有效减少了人工干预，实现了基于大数据与自适应原则的自动化、上下文感知的网络安全事件响应。