[论文解读] A Grid Based Adversarial Clustering Algorithm

Wutao Wei, Gupta, Nikhil+1 more|arXiv (Cornell University)|Apr 13, 2018

Anomaly Detection Techniques and Applications参考文献 34被引用 3

一句话总结

本文提出 ADClust，一种基于网格的对抗聚类算法，利用博弈论原理在仅有少量标注数据的情况下，识别核心正常区域并为其构建防御墙，即使面对主动攻击者造成的高污染数据，也能检测到重叠的攻击-正常区域、异常值和子簇，防御墙内正常对象的纯度达到约 85–87%。

ABSTRACT

Nowadays more and more data are gathered for detecting and preventing cyber attacks. In cyber security applications, data analytics techniques have to deal with active adversaries that try to deceive the data analytics models and avoid being detected. The existence of such adversarial behavior motivates the development of robust and resilient adversarial learning techniques for various tasks. Most of the previous work focused on adversarial classification techniques, which assumed the existence of a reasonably large amount of carefully labeled data instances. However, in practice, labeling the data instances often requires costly and time-consuming human expertise and becomes a significant bottleneck. Meanwhile, a large number of unlabeled instances can also be used to understand the adversaries' behavior. To address the above mentioned challenges, in this paper, we develop a novel grid based adversarial clustering algorithm. Our adversarial clustering algorithm is able to identify the core normal regions, and to draw defensive walls around the centers of the normal objects utilizing game theoretic ideas. Our algorithm also identifies sub-clusters of attack objects, the overlapping areas within clusters, and outliers which may be potential anomalies.

研究动机与目标

• 解决在标注数据稀缺且攻击者主动改变行为以逃避检测时，检测未知主动网络攻击的挑战。
• 开发一种对对抗性数据操纵具有鲁棒性的聚类方法，其中攻击实例被战略性地放置以与正常数据混合。
• 识别核心正常区域、重叠的攻击-正常区域以及异常值，实现分层分析，而不依赖传统半监督学习的假设。
• 利用博弈论定义围绕正常簇的防御墙，平衡纯度与覆盖范围，最小化对抗性渗透风险。
• 通过聚焦人工检查混合区域和潜在的新攻击簇，实现对新型攻击的快速响应。

提出的方法

• 应用基于网格的划分方案对特征空间进行离散化，实现对数据密度和簇结构的局部分析。
• 利用少量标注实例（正常/异常）估计正常簇的中心，并检测对抗性扰动。
• 将防御墙构建建模为博弈论优化问题，防御者选择围绕正常核心的区域，以最小化对抗性渗透风险。
• 基于估计的密度和对抗性威胁模型，使用 alpha 水平等高线（例如 α = 0.7–0.8）定义防御墙，采用曼哈顿距离和欧几里得距离度量。
• 将混合区域和异常值识别为攻击与正常对象显著重叠的高不确定性区域，需人工检查。
• 逐步增加权重参数 k 以控制墙扩展的激进程度，平衡覆盖范围与正常对象的纯度。

实验结果

研究问题

• RQ1 如何使聚类在主动攻击者通过修改攻击实例以逃避检测时仍保持鲁棒性？
• RQ2 在高度污染的数据中，少量标注实例能在多大程度上实现对核心正常区域和对抗性子簇的可靠识别？
• RQ3 围绕正常簇定义防御墙的最优策略是什么，才能最小化对抗性渗透风险？
• RQ4 防御墙大小与正常对象纯度之间的权衡如何影响对抗聚类的性能？
• RQ5 在类别重叠是故意且显著的对抗性环境中，该方法能否优于半监督学习？

主要发现

• 在 100 次运行中，防御墙内正常对象纯度的中位数成功率为 0.85 至 0.87，曼哈顿距离下 α = 0.8 和欧几里得距离下 α = 0.7 时表现最优。
• 使用 k = 30 和 k = 50 作为权重参数时，成功率显著优于 k = 1，表明适度激进性可提升鲁棒性。
• 随着 k 从 1 增加到 100，混合区域和异常值中异常对象的占比从 76% 降至 73%，表明不确定区域的污染程度降低。
• 该算法成功识别出重叠区域和异常值，这对聚焦人工审查和检测新型攻击模式至关重要。
• 尽管数据污染严重（99.4% 未标注），ADClust 在防御墙内仍实现了接近 90% 的正常对象平均纯度，表现出强大鲁棒性。
• 结果验证了博弈论框架的有效性，最优 α 水平（0.6–0.8）与理论建议和实证性能一致。