[论文解读] Towards Better Internet Citizenship: Reducing the Footprint of Internet-wide Scans by Topology Aware Prefix Selection

Johannes Klick, Stephan Lau+2 more|arXiv (Cornell University)|May 19, 2016

Internet Traffic Analysis and Secure E-voting参考文献 17被引用 8

一句话总结

本文提出了拓扑感知扫描策略（TASS），一种通过基于历史数据识别并仅扫描最相关IP前缀来减少互联网范围扫描流量的方法。与扫描全部28亿个IPv4地址相比，TASS仅扫描20.6%–57.4%的IPv4地址空间，即可实现FTP和HTTP等协议92.3%–98%的主机覆盖率，同时将扫描流量减少25%–90%，仅遗漏1%–10%的主机。

ABSTRACT

Internet service discovery is an emerging topic to study the deployment of protocols. Towards this end, our community periodically scans the entire advertised IPv4 address space. In this paper, we question this principle. Being good Internet citizens means that we should limit scan traffic to what is necessary. We conducted a study of scan data, which shows that several prefixes do not accommodate any host of interest and the network topology is fairly stable. We argue that this allows us to collect representative data by scanning less. In our paper, we explore the idea to scan all prefixes once and then identify prefixes of interest for future scanning. Based on our analysis of the censys.io data set (4.1 TB data encompassing 28 full IPv4 scans within 6 months) we found that we can reduce scan traffic between 25-90% and miss only 1-10% of the hosts, depending on desired trade-offs and protocols.

研究动机与目标

• 通过最小化不必要的扫描流量，减轻互联网扫描对环境和网络的负担。
• 解决全IPv4扫描效率低下的问题，此类扫描会产生大量流量但命中率极低（通常低于2%）。
• 开发一种系统化、拓扑感知的扫描策略，在显著降低扫描开销的同时保持高主机覆盖率。
• 通过聚焦于稳定且高密度的前缀而非暴力扫描，实现可持续的长期网络测量。

提出的方法

• 该方法首先对公布的IPv4地址空间进行一次完整的扫描，以识别特定协议下响应的前缀。
• 利用网络拓扑和前缀密度（单位地址空间大小内的主机数量）对未来的周期性扫描优先级进行排序。
• 应用覆盖率阈值（φ）以平衡扫描开销与主机覆盖率，从而在效率与完整性之间实现权衡。
• 仅选择基于历史响应模式和随时间保持稳定的前缀，以提高包含目标主机的可能性。
• 利用来自censys.io的28次全IPv4扫描数据（总计4.1 TB）对策略进行训练和验证。
• 在FTP、HTTP、HTTPS和CWMP等协议上评估性能，测量六个月内命中率衰减和覆盖率变化。

实验结果

研究问题

• RQ1 我们能否通过仅扫描IP前缀的子集来减少扫描流量，而不会显著降低主机覆盖率？
• RQ2 响应前缀的命中率随时间如何衰减，这对周期性扫描有何影响？
• RQ3 前缀密度在多大程度上与长期主机可用性及扫描效率相关？
• RQ4 不同的覆盖率阈值（φ）如何影响扫描开销与主机检测准确率之间的权衡？
• RQ5 被遗漏的1%–10%主机是否以某种方式分布，从而影响扫描结果的代表性？

主要发现

• 仅扫描公布的IPv4地址空间的57.4%即可在六个月后实现所有FTP主机98%的覆盖率。
• 通过将覆盖范围限制在响应地址的95%以内，TASS仅扫描IPv4地址空间的20.6%，即可实现92.3%的主机检测率。
• 对于较不具体的（l-）前缀，响应前缀的命中率每月约下降0.3%，表明响应能力呈渐进式衰减。
• 对于更具体的（m-）前缀，命中率衰减更高——最高达每月0.7%，六个月内累计下降4.2%。
• 主机覆盖率降低1%（从φ=1降至φ=0.99）可使扫描开销减少20%–30%，表明小幅度的权衡即可带来显著的效率提升。
• 该策略在多种协议上均表现稳健，HTTP、HTTPS和CWMP也观察到类似的效率增益，表明其具有广泛适用性。