[论文解读] Lost in Space: Improving Inference of IPv4 Address Space Utilization

Alberto Dainotti, Karyn Benson+7 more|arXiv (Cornell University)|Oct 25, 2014

Network Security and Intrusion Detection参考文献 8被引用 8

一句话总结

本文通过结合来自不同观测点（暗网、学术网络、IXP 和 ISP 客户日志）的被动流量测量、主动探测以及 BGP 数据，改进了对 IPv4 地址空间利用率的推断。研究识别出 718,000 个此前未被发现的已使用 /24 网段，揭示仅有 37% 的可用 IPv4 空间处于实际使用状态，另有 340 万个已分配网段在 BGP 路由中不可见。

ABSTRACT

One challenge in understanding the evolution of Internet infrastructure is the lack of systematic mechanisms for monitoring the extent to which allocated IP addresses are actually used. In this paper we try to advance the science of inferring IPv4 address space utilization by analyzing and correlating results obtained through different types of measurements. We have previously studied an approach based on passive measurements that can reveal used portions of the address space unseen by active approaches. In this paper, we study such passive approaches in detail, extending our methodology to four different types of vantage points, identifying traffic components that most significantly contribute to discovering used IPv4 network blocks. We then combine the results we obtained through passive measurements together with data from active measurement studies, as well as measurements from BGP and additional datasets available to researchers. Through the analysis of this large collection of heterogeneous datasets, we substantially improve the state of the art in terms of: (i) understanding the challenges and opportunities in using passive and active techniques to study address utilization; and (ii) knowledge of the utilization of the IPv4 space.

研究动机与目标

• 改进基于 ICMP 的主动探测之外的 IPv4 地址空间利用率推断准确性。
• 评估在不同网络观测点上，被动测量技术的可靠性和可扩展性。
• 量化各 RIR、国家和自治系统（AS）中未使用且 BGP 不可见的 IPv4 地址空间规模。
• 评估将 BGP 路由地址空间作为实际网络活动代理的局限性。
• 通过提供全面且扩展的 IPv4 普查数据，为互联网研究提供更精确的指标。

提出的方法

• 从四个不同观测点收集并关联被动流量数据：一个大型暗网、一个国家级学术网络的 NetFlow 日志、一个 IXP 的采样数据包追踪，以及一个 ISP 的住宅客户流量日志。
• 应用伪造流量检测与清除技术，以确保对合法地址使用情况的准确推断。
• 将被动测量结果与主动探测数据（如基于 ICMP 的扫描）以及 BGP/注册信息数据结合，以验证并扩展覆盖范围。
• 使用 IPv4 地址空间分类体系（IETF 保留、可用、已分配、BGP 宣告、活跃使用）对网段进行系统性分类。
• 利用七组异构数据集，在 2013 年 7 月至 10 月期间开展大规模普查，推断活跃的 /24 网段。
• 在不同观测点上验证方法论，以评估其对流量组成、地址空间规模和测量时长的鲁棒性。

实验结果

研究问题

• RQ1 不同被动测量观测点在检测已使用 IPv4 地址网段方面表现如何比较？
• RQ2 伪造流量在多大程度上扭曲了对地址利用率的被动推断？又该如何缓解？
• RQ3 已分配的 IPv4 地址空间中，实际使用了多少？有多少仍对 BGP 路由不可见？
• RQ4 将 BGP 路由地址空间作为实际使用情况的代理，会如何扭曲自治系统（AS）和国家的真实使用范围？
• RQ5 混合主动-被动方法是否能显著提升 IPv4 及未来 IPv6 普查的覆盖范围并降低测量开销？

主要发现

• 仅有 530 万个 /24 网段（占可用 IPv4 空间的 37%）处于可见使用状态，另有 340 万个已分配网段在全局 BGP 路由系统中不可见。
• 本研究发现了 718,000 个此前未知的已使用 /24 网段，较先前最先进的 ISI 普查结果高出 15.6%。
• 98.9% 的在 BGP 中宣告的 AS 至少拥有一个已使用的 /24 网段，而 ISI 普查中该比例为 94.9%，表明对 AS 内部覆盖范围有所提升。
• 美国拥有 49.8% 的未路由 /24 网段和 67.5% 的未路由已分配网段，其中 9.5% 的传统 /8 网段处于使用状态。
• 当使用 BGP 路由空间作为实际地址使用情况的代理时，大型企业 AS 的中位数高估误差高达 96%。
• 国家人口或 GDP 与 /24 网段使用量之间无显著相关性，但 GDP 与已使用网段数量呈现强相关性，尤其在美国表现明显。