[论文解读] DIMES: Let the Internet Measure Itself

Yuval Shavitt, Eran Shir|ArXiv.org|Jun 28, 2005

Peer-to-Peer Network Technologies参考文献 20被引用 24

一句话总结

DIMES 提出了一种去中心化、大规模的互联网测量基础设施，通过在全球范围内的志愿者主机上部署轻量级代理，克服了传统集中式测量系统的局限性。通过利用全球分布的探测点，DIMES 揭示了此前未被发现的对等互联链路，并提供了更准确、中等粒度的互联网拓扑图，与以往方法相比，显著提升了覆盖范围并减少了偏差。

ABSTRACT

Today's Internet maps, which are all collected from a small number of vantage points, are falling short of being accurate. We suggest here a paradigm shift for this task. DIMES is a distributed measurement infrastructure for the Internet that is based on the deployment of thousands of light weight measurement agents around the globe. We describe the rationale behind DIMES deployment, discuss its design trade-offs and algorithmic challenges, and analyze the structure of the Internet as it seen with DIMES.

研究动机与目标

• 解决现有互联网拓扑测量中存在的偏差问题，该问题源于探测点集中于北美和欧洲的局限性。
• 克服 BGP 和 traceroute 无法检测非传输型对等互联链路的问题，因为这些链路受策略性路径隐藏的影响。
• 开发一种可扩展的分布式测量基础设施，实现全球覆盖和高地理位置多样性。
• 生成一种中等粒度的互联网拓扑图，其中每个节点代表一组共置的路由器（例如 PoP 或小型 AS），弥合粗粒度的 AS 级拓扑图与细粒度的路由器级拓扑图之间的差距。
• 通过广泛分布且异构的探测点，实现对互联网结构、演化和路由行为更准确、更全面的分析。

提出的方法

• 在全球范围内的志愿者主机上部署数千个轻量级、低开销的测量代理，构建分布式测量平台。
• 使用 ICMP 和 UDP traceroute，结合 ping，探测网络路径，并在多个粒度级别（AS、IP、路由器级别）推断拓扑结构。
• 实施一种分布式架构，支持代理之间的并行、相关实验，同时保持灵活性和可扩展性。
• 应用 k-core 分解分析 AS、IP 和路由器级别图之间的结构差异，识别核心结构和连接模式。
• 利用代理的地理位置多样性，检测传统集中式探测点无法观测到的隐藏链路——尤其是对等互联连接。
• 设计系统时兼顾安全性、高效性以及防火墙友好性，并为未来支持 TCP SYN 探针和带宽估计模块预留扩展空间。

实验结果

研究问题

• RQ1 增加探测点的数量及其地理分布程度，如何影响对隐藏互联网链路（尤其是对等互联连接）的发现？
• RQ2 BGP 策略决策和路径隐藏在多大程度上阻碍了传统测量技术准确捕捉真实互联网拓扑？
• RQ3 AS 级、IP 级和路由器级互联网拓扑之间存在哪些结构差异，特别是在核心形成和聚类方面？
• RQ4 基于志愿者的分布式测量基础设施能否实现足够的规模和多样性，以生成更准确、更具代表性的中等粒度互联网拓扑图？
• RQ5 不同网络抽象层级之间的连接模式和核心结构有何差异？这些差异揭示了关于互联网路由和演化的哪些信息？

主要发现

• 在九个月内，DIMES 成功吸引了超过 2,300 名用户和 3,600 个代理，覆盖 70 多个国家，每日平均有超过 850 个独立代理从 350 多个 AS 发起测量。
• 平台每天执行超过 250 万次测量，年测量总量超过十亿次，证明了其出色的可扩展性和持续运行能力。
• AS 级图表现出一个强大且集中的核心结构，高阶度节点集中在最顶层的 k-shell 中，而路由器级图则无此类核心结构，高阶度节点分散在多个壳层中。
• 与 AS 图相比，路由器和 IP 级图中高阶度节点的聚类系数显著更低，表明缺乏中心枢纽结构。
• 路由器图的 k-core 分解中存在显著的间隙（例如，在壳层 50 和 80 之间），表明顶层壳层更像连接大型子网的桥梁，而非中心枢纽。
• 研究证实，由于 BGP 路径隐藏机制，传统测量方法会遗漏大量对等互联链路，只有广泛分布且地理位置多样的探测点才能揭示这些链路。