[论文解读] Developing Security Reputation Metrics for Hosting Providers

Arman Noroozian, Maciej Korczyński+2 more|arXiv (Cornell University)|Dec 12, 2016

Spam and Phishing Detection参考文献 13被引用 14

一句话总结

本文提出了一套系统化的框架，用于为托管服务提供商开发安全声誉度量指标，解决了提供商识别、滥用数据质量、归一化、聚合和解释等关键方法论挑战。该框架采用多源、多指标方法，结合滥用数据源、IP地址空间和托管域名，实现了不同规模估算指标与基准排名之间的高度相关性（r = 0.909），从而为执法机构和行业利益相关方提供了可靠的基准评估依据。

ABSTRACT

Research into cybercrime often points to concentrations of abuse at certain hosting providers. The implication is that these providers are worse in terms of security; some are considered `bad' or even `bullet proof'. Remarkably little work exists on systematically comparing the security performance of providers. Existing metrics typically count instances of abuse and sometimes normalize these counts by taking into account the advertised address space of the provider. None of these attempts have worked through the serious methodological challenges that plague metric design. In this paper we present a systematic approach for metrics development and identify the main challenges: (i) identification of providers, (ii) abuse data coverage and quality, (iii) normalization, (iv) aggregation and (v) metric interpretation. We describe a pragmatic approach to deal with these challenges. In the process, we answer an urgent question posed to us by the Dutch police: `which are the worst providers in our jurisdiction?'. Notwithstanding their limitations, there is a clear need for security metrics for hosting providers in the fight against cybercrime.

研究动机与目标

• 解决缺乏系统化、基于实证的度量指标来评估托管服务提供商安全性能的问题。
• 支持执法机构识别荷兰境内表现最差的托管服务提供商，特别是回应荷兰国家高科技犯罪警察部门的直接请求。
• 通过提供可靠、透明的度量指标，减少托管行业中的信息不对称，向客户、监管机构和提供商传递安全性能信号。
• 通过数据驱动的声誉评分实现基准评估，并激励更优的安全实践。
• 改进现有依赖于简单滥用计数和IP地址空间归一化的度量指标，解决其方法论上的局限性。

提出的方法

• 使用多源数据管道，整合公开与私有的滥用数据源，包括来自Farsight Security、StopBadware、PhishTank等的报告。
• 采用混合规模估算方法，结合广告的IP地址空间、用于托管的IP地址使用量以及托管的二级域名（2LDs）数量，对滥用计数进行归一化。
• 基于综合指标（整合滥用频率、规模估算与数据源全面性）建立基准排名。
• 使用皮尔逊相关系数（r）评估不同指标规格之间的一致性，包括IP地址空间、已使用IP地址空间和2LD计数。
• 通过基于数据源对唯一<2LD, IP>对的独占贡献度分配权重，实现加权聚合。
• 通过敏感性分析和利益相关方反馈验证结果，并通过使用WHOIS数据而非仅AS级路由信息，对提供商识别进行迭代优化。

实验结果

研究问题

• RQ1 尽管存在提供商识别和数据覆盖方面的挑战，如何系统地将滥用数据映射到托管服务提供商？
• RQ2 在不同规模和服务类型的托管提供商之间，最可靠的滥用计数归一化方法是什么？
• RQ3 不同的规模估算技术（IP地址空间、已使用IP地址空间、托管域名）如何影响托管服务提供商的声誉排名结果？
• RQ4 不同指标规格与基准排名的相关程度如何？这对度量指标的稳健性有何影响？
• RQ5 如何设计安全声誉度量指标，使其既对执法机构具有可操作性，又能抵御提供商的操纵行为？

主要发现

• 基准声誉排名与基于用于网页托管的IP地址的指标之间表现出高度相关性（r = 0.909），表明在识别最严重的滥用提供商方面具有一致性。
• 基准排名与基于2LD的规模估算指标之间的相关性较弱（r = 0.6438），表明仅依靠域名数量作为规模代理指标的可靠性较低。
• 在基准排名中位列前20名的最差表现ASNs中，仅有7个出现在所有其他替代性前20名排名中，凸显了规模估算方法对结果的显著敏感性。
• 基于数据源全面性的加权聚合方法与基准排名的相关系数达到r = 0.791，证实其在指标融合中的有效性。
• 研究发现，当前仅基于IP地址空间或滥用计数的度量指标因方法论缺陷而不足，亟需采用集成化、多维度的方法。
• 利益相关方反馈确认，所提出的度量指标可作为执法行动、自我监管和行业基准评估的有效起点。