[论文解读] Controlled Data Sharing for Collaborative Predictive Blacklisting

Julien Freudiger, Emiliano De Cristofaro+1 more|arXiv (Cornell University)|Feb 18, 2015

Network Security and Intrusion Detection参考文献 30被引用 14

一句话总结

本文提出了一种用于协作预测性黑名单的隐私保护受控数据共享框架，利用安全两方计算（2PC）估算协作效益，而无需暴露原始数据集。结果表明，仅共享关于共同攻击者的信息可将预测准确率提高最多105%，同时减少误报率，优于非协作和无差别共享的方式。

ABSTRACT

Although sharing data across organizations is often advocated as a promising way to enhance cybersecurity, collaborative initiatives are rarely put into practice owing to confidentiality, trust, and liability challenges. In this paper, we investigate whether collaborative threat mitigation can be realized via a controlled data sharing approach, whereby organizations make informed decisions as to whether or not, and how much, to share. Using appropriate cryptographic tools, entities can estimate the benefits of collaboration and agree on what to share in a privacy-preserving way, without having to disclose their datasets. We focus on collaborative predictive blacklisting, i.e., forecasting attack sources based on one's logs and those contributed by other organizations. We study the impact of different sharing strategies by experimenting on a real-world dataset of two billion suspicious IP addresses collected from Dshield over two months. We find that controlled data sharing yields up to 105% accuracy improvement on average, while also reducing the false positive rate.

研究动机与目标

• 为解决协作网络安全数据共享所面临的机密性、隐私、信任和责任担忧等挑战。
• 使组织能够在不披露完整数据集的情况下，以隐私保护方式估算协作的收益。
• 识别出能最大化预测准确率并最小化误报率的最优数据共享策略。
• 利用真实世界威胁数据评估不同协作度量指标和共享程度的有效性。

提出的方法

• 作者将协作建模为三个步骤：收益估算、合作伙伴选择以及使用密码学协议进行安全数据共享。
• 采用安全两方计算（2PC）技术，包括私有集合交集（PSI）变体如PSI-CA和PSI-DT，以实现隐私保护的收益估算。
• 收益估算基于相似性度量，如Jaccard、Pearson、余弦相似度以及受害者组织可疑IP地址日志之间的交集大小。
• 数据共享策略包括共享全部数据（并集）、仅共享共同攻击源（交集），以及共享与共同攻击者相关联的数据（交集加关联数据）。
• 预测模型采用指数加权移动平均（EWMA）算法，基于历史日志预测攻击源。
• 基于来自DShield.org的真实世界数据集进行实证评估，包含20亿条可疑IP地址，涉及188,522家组织，时间跨度为两个月。

实验结果

研究问题

• RQ1 组织能否在不披露完整数据集的情况下，以隐私保护方式估算数据共享的收益？
• RQ2 哪种相似性度量最能准确预测协作在预测性黑名单中的准确率提升？
• RQ3 数据共享程度（如并集与交集）如何影响预测准确率和误报率？
• RQ4 协作是否在提升检测准确率的同时降低误报率？
• RQ5 仅共享关于共同攻击者的信息是否几乎与共享全部数据一样有效？

主要发现

• 受控数据共享使平均预测准确率最高提升105%，即使仅选择了1%的潜在合作方。
• 仅共享与共同攻击者相关联的信息（交集加关联数据）所实现的准确率提升，几乎与共享全部数据（并集）相当，表明其具有极高的效率。
• 交集大小度量在估算协作收益方面最为有效，优于Jaccard、Pearson和余弦相似度。
• 数据集高度相似的组织从协作中获益甚微，因为可获得的新信息极少。
• 协作降低了误报率，表明攻击预测的精确度得到提升。
• 使用PSI-CA对99家合作方进行收益估算的总时间不足54秒，与所有合作方进行数据共享的时间不足40秒，表明计算开销极低，适合实时应用。