[论文解读] Determining the Scale of Impact from Denial-of-Service Attacks in Real Time Using Twitter

Chi Zhang, Bryan Wilkinson+2 more|arXiv (Cornell University)|Sep 12, 2019

Network Security and Intrusion Detection参考文献 27被引用 4

一句话总结

该论文提出了一种弱监督的NLP模型，利用潜在狄利克雷分配（LDA）和对称Kullback-Leibler散度，基于Twitter数据实时检测与DDoS攻击相关的推文，从而实现对攻击影响规模的快速估算。该方法在精度上可与监督模型相媲美，并在金融机构间具有良好的泛化能力，通过可选的微调监督分类层可进一步提升精度，但会牺牲召回率。

ABSTRACT

Denial of Service (DoS) attacks are common in on-line and mobile services such as Twitter, Facebook and banking. As the scale and frequency of Distributed Denial of Service (DDoS) attacks increase, there is an urgent need for determining the impact of the attack. Two central challenges of the task are to get feedback from a large number of users and to get it in a timely manner. In this paper, we present a weakly-supervised model that does not need annotated data to measure the impact of DoS issues by applying Latent Dirichlet Allocation and symmetric Kullback-Leibler divergence on tweets. There is a limitation to the weakly-supervised module. It assumes that the event detected in a time window is a DoS attack event. This will become less of a problem, when more non-attack events twitter got collected and become less likely to be identified as a new event. Another way to remove that limitation, an optional classification layer, trained on manually annotated DoS attack tweets, to filter out non-attack tweets can be used to increase precision at the expense of recall. Experimental results show that we can learn weakly-supervised models that can achieve comparable precision to supervised ones and can be generalized across entities in the same industry.

研究动机与目标

• 为解决利用实时用户反馈快速评估DDoS攻击影响规模的挑战。
• 开发一种可扩展、低资源的检测方法，无需大规模标注数据集即可识别与攻击相关的推文。
• 仅基于推文内容和时间模式，实现实时估计攻击严重程度。
• 评估模型在同行业实体（如银行）之间的泛化能力。
• 探索通过可选的监督分类层实现精度与召回率之间的权衡。

提出的方法

• 该模型对历史和实时推文流应用潜在狄利克雷分配（LDA）以提取主题。
• 通过计算新主题分布与历史主题分布之间的对称Kullback-Leibler（KL）散度来检测异常。
• 基于主题分布的偏移生成异常得分，识别潜在的与DDoS相关的事件。
• 通过超参数α的经验确定主题数量，实验发现α = 10时性能最优。
• 可选的监督分类层在人工标注的攻击相关推文上进行训练，以过滤误报，从而提升精度，但会降低召回率。
• 利用基于检测到的攻击相关推文比例和数量的公式估算影响严重程度。

实验结果

研究问题

• RQ1 弱监督主题建模能否在无需标注数据的情况下，以高精度实时检测与DDoS攻击相关的推文？
• RQ2 仅使用未标注数据时，该模型在不同金融机构之间的泛化能力如何？
• RQ3 添加监督分类层后，精度与召回率之间的权衡关系如何？
• RQ4 模型性能对主题数量超参数α的选择有多敏感？
• RQ5 该模型能否在不依赖人工标注训练数据的情况下可靠检测攻击事件？

主要发现

• 该弱监督模型在未使用标注训练数据的情况下，精度可与监督基线模型相媲美，表现出强劲性能。
• 该模型在同领域实体（如美国银行、PNC、富国银行）之间具有良好的泛化能力，表明对实体特异性语言差异具有鲁棒性。
• 添加监督分类层后，通过过滤非攻击类推文，精度得到提升，但因过滤标准更严格，召回率下降。
• 模型性能对超参数α的选择高度敏感，实验中α = 10时表现最优。
• 用于自动估计主题数量的层次狄利克雷过程（HDP）模型在推文上表现不佳，可能由于微博内容短小且噪声大。
• 人工对推文分类的一致性较低（34条推文中仅有2条获得一致标注），凸显了人工标注的难度，也凸显了自动化检测的价值。