[论文解读] Forming IDEAS Interactive Data Exploration & Analysis System.

Robert A. Bridges, Maria A. Vincent+4 more|arXiv (Cornell University)|May 24, 2018

Scientific Computing and Data Management被引用 4

一句话总结

IDEAS 是一个可视化分析平台，通过允许安全分析师在威胁数据上交互式配置预定义的数据科学操作，使他们无需具备算法专业知识即可执行数据科学任务。该系统与现有数据存储集成，在后台应用聚类和异常检测等算法，并返回交互式可视化结果——通过识别恶意主机和检测高级持续性威胁等真实用例得到验证——从而减少人工工作量，并以基于证据的分析取代直觉判断。

ABSTRACT

Modern cyber security operations collect an enormous amount of logging and alerting data. While analysts have the ability to query and compute simple statistics and plots from their data, current analytical tools are too simple to admit deep understanding. To detect advanced and novel attacks, analysts turn to manual investigations. While commonplace, current investigations are time-consuming, intuition-based, and proving insufficient. Our hypothesis is that arming the analyst with easy-to-use data science tools will increase their work efficiency, provide them with the ability to resolve hypotheses with scientific inquiry of their data, and support their decisions with evidence over intuition. To this end, we present our work to build IDEAS (Interactive Data Exploration and Analysis System). We present three real-world use-cases that drive the system design from the algorithmic capabilities to the user interface. Finally, a modular and scalable software architecture is discussed along with plans for our pilot deployment with a security operation command.

研究动机与目标

• 解决当前工具难以有效处理海量网络安全日志所带来的日益严峻的分析挑战。
• 通过数据驱动的洞察而非基于直觉的、耗时的手动调查，减少对安全分析师长时间手动分析的依赖。
• 通过可配置、用户友好的平台，弥合数据科学能力与网络安全运营实际需求之间的差距。
• 使分析师能够无需算法专业知识，即可通过机器学习和统计操作科学地测试假设。
• 通过允许安全共享分析配置而不暴露敏感数据，支持组织内部及组织间的情报共享。

提出的方法

• 系统连接到现有的网络安全数据存储（如使用 Elasticsearch 的系统），以摄取网络流量、主机日志和 DNS 数据。
• 分析师通过基于 Web 的界面选择数据子集，并应用预配置的数据科学操作（例如聚类、异常检测）。
• 底层算法（如 k-means 聚类和统计异常检测）自动执行，结果以交互式方式可视化。
• 基于微服务的软件架构使用 Protocol Buffers 和 gRPC，实现组件之间的模块化、可扩展且与编程语言无关的通信。
• 系统采用 Docker 容器化，便于部署，并支持未来新增数据类型和分析操作的可扩展性。
• 用户界面基于真实分析师工作流程和用例设计，输入和输出的可视化均针对安全相关模式进行定制。

实验结果

研究问题

• RQ1 如何使数据科学技术对网络安全分析师更易用，而无需具备算法专业知识？
• RQ2 交互式、可配置的数据科学操作能否减少手动事件调查所需的时间和精力？
• RQ3 可视化分析系统如何支持网络安全运营中的假设检验和基于证据的决策？
• RQ4 哪些架构模式能够实现在真实安全环境中可扩展、模块化且可扩展的数据科学工具部署？
• RQ5 能否在不暴露敏感数据的前提下，在组织之间共享分析配置？

主要发现

• 分析师报告称，手动分析勒索软件感染平均需要约 80 个人工小时，凸显了自动化的需求。
• 该系统通过基于 DNS 查询比率和网络流量模式对主机进行聚类，使分析师能够检测异常横向移动模式。
• 聚类操作成功区分了 Web 服务器（80/443 端口的入站流量）和工作站（出站流量），提供了可操作的洞察。
• 异常检测操作可配置为建立正常主机行为基线，并标记偏差，为自定义脚本提供一种有原则的替代方案。
• 采用 gRPC 和 Protocol Buffers 的微服务架构，实现了分析组件的安全、可扩展且可扩展的部署。
• 已在大型安全运营中心启动初步部署计划，预计在部署后通过迭代优化进一步完善。