[论文解读] Measuring the Consolidation of DNS and Web Hosting Providers

Synthia Wang, Kyle MacMillan+3 more|arXiv (Cornell University)|Oct 28, 2021

Caching and Content Delivery参考文献 10被引用 4

一句话总结

本文使用Tranco榜单中的前10,000个网站，测量了DNS和网站托管服务提供商的集中程度，发现Cloudflare和Amazon单独就托管了37.1%域名的权威名称服务器，而五家提供商——Cloudflare、Amazon、Akamai、Fastly和Google——则托管了60%的索引页面和大多数外部资源，表明关键互联网基础设施组件存在显著的全球集中化趋势。

ABSTRACT

Despite the Internet's continued growth, it increasingly depends on a small set of service providers to support Domain Name System (DNS) and web content hosting. This trend poses many potential threats including susceptibility to outages, failures, and potential censorship by providers. This paper aims to quantify consolidation in terms of popular domains' reliance on a small set of organizations for both DNS and web hosting. We highlight the extent to which a set of relatively few platforms host the authoritative name servers and web content for the top million websites. Our results show that both DNS and web hosting are concentrated, with Cloudflare and Amazon hosting over $30\%$ of the domains for both services. With the addition of Akamai, Fastly, and Google, these five organizations host $60\%$ of index pages in the Tranco top 10K, as well as the majority of external page resources. These trends are consistent across six different global vantage points, indicating that consolidation is happening globally and popular organizations can influence users' online experience across the world.

研究动机与目标

• 量化主流网站在权威DNS名称服务器托管和网页内容托管方面的集中程度。
• 评估这种集中化对互联网弹性、安全性和内容监管的影响。
• 衡量少数提供商在控制最广泛访问域名的关键基础设施组件方面所占的程度。
• 利用公开数据，为持续监测基础设施依赖趋势提供基线参考。

提出的方法

• 通过六个全球观测点的主动测量，收集Tranco前10,000个域名的DNS和网站托管数据。
• 通过反向DNS和IP地理位置定位，将权威名称服务器IP地址映射到托管提供商。
• 通过分析域名索引页面和外部资源的IP地址，识别网站托管提供商。
• 汇总结果，计算各提供商在多个指标下所托管的域名和资源占比。
• 使用AS层级分析，确定每个域名在名称服务器托管中所使用的自治系统数量。
• 公开测量数据和框架，以支持持续监测和可复现性。

实验结果

研究问题

• RQ1 在Tranco前10,000个网站中，有多少比例的网站仅依赖Cloudflare或Amazon进行权威DNS名称服务器托管？
• RQ2 有多少家组织托管了最受欢迎网站的大部分索引页面和外部资源？
• RQ3 在名称服务器托管方面，域名在多大程度上集中于少数独立托管提供商或自治系统？
• RQ4 这些集中化趋势在不同地理观测点之间是否一致？
• RQ5 这种集中化对互联网弹性、监控和内容监管有何影响？

主要发现

• Cloudflare和Amazon共同托管了Tranco前10,000个域名中37.1%的权威名称服务器，表明DNS基础设施存在高度集中化。
• 超过89%的前10,000个域名使用同一主域名下的名称服务器，表明对共享托管平台存在广泛依赖。
• 超过75%的域名仅由单一组织托管其所有权威名称服务器，增加了系统性风险。
• 五家提供商——Cloudflare、Amazon、Akamai、Fastly和Google——托管了Tranco前10,000个域名中约60%的索引页面以及大多数外部页面资源。
• 这些集中化趋势在六个全球观测点中保持一致，表明对少数几家提供商存在全球普遍依赖。
• 研究结果凸显了因基础设施集中化而带来的单点故障、监控以及内容监管权力集中等重大风险。