[论文解读] Graph Theoretic Properties of the Darkweb

Virgil Griffith, Yang Xu+1 more|arXiv (Cornell University)|Apr 25, 2017

Complex Network Analysis Techniques参考文献 15被引用 7

一句话总结

本文利用图论分析暗网的超链接结构，发现超过87%的.onion域名从不链接到其他任何站点，表明其存在极端碎片化。与互联互通的万维网不同，暗网并非真正的网络，而是孤立的‘暗黑孤岛’，其低连通性更多源于社交行为而非技术不稳定性。

ABSTRACT

We collect and analyze the darkweb (a.k.a. the "onionweb") hyperlink graph. We find properties highly dissimilar to the well-studied world wide web hyperlink graph; for example, our analysis finds that >87% of darkweb sites never link to another site. We compare our results to prior work on world-wide-web and speculate about reasons for their differences. We conclude that in the term "darkweb", the word "web" is a connectivity misnomer. Instead, it is more accurate to view the darkweb as a set of largely isolated dark silos.

研究动机与目标

• 利用图论研究暗网超链接图的结构性质。
• 将暗网的连通性模式与广泛研究的万维网进行比较。
• 确定暗网中低链接行为是源于技术不稳定性还是社交因素。
• 评估‘暗网’这一术语是否准确反映其结构现实，鉴于其缺乏类似网络的连通性。

提出的方法

• 通过tor2web代理onion.link收集暗网数据，使用来自两个精心筛选的.onion域名列表的网页爬虫。
• 构建有向图，其中节点代表.onion域名，边代表域名之间的超链接，边的权重表示链接页面的数量。
• 剔除响应失败的域名（经10次以上尝试仍不可达）以确保数据完整性，最终将图缩减为7,178个节点和25,104条边。
• 应用标准图论度量方法：度分布、弱连通分量（WCC）、核心-外围结构、调和中心性及PageRank。
• 使用统计工具plfit评估度分布中的幂律行为。
• 通过归一化相关性度量，比较暗网与万维网的互惠链接模式及中心性度量。

实验结果

研究问题

• RQ1 与万维网相比，暗网超链接图的整体连通性结构如何？
• RQ2 为何暗网的外向链接率如此之低？这是由于技术不稳定性还是社交行为所致？
• RQ3 暗网在多大程度上表现出类似网络的特性，如小世界特征或核心-外围组织结构？
• RQ4 PageRank和调和中心性等中心性度量在暗网中如何分布？这对信息流动意味着什么？
• RQ5 ‘暗网’这一术语是否准确描述了该网络的结构特性，还是存在误称之嫌？

主要发现

• 在剔除不可达域名后，暗网由一个包含7,178个节点和25,104条边的单一弱连通分量（WCC）构成。
• 87%的暗网域名出度为零，即从不链接至任何其他站点，表明存在极端碎片化。
• 尽管存在高度孤立，平均最短路径长度为4.35，仅略长于万维网的4.27，表明其导航性出人意料地高。
• 网络直径为5，远小于万维网的48，表明任意两个节点通常可通过极短路径相连。
• 调和直径为232.49，远大于万维网的约9.55，反映出存在大量连接较差的节点。
• 互惠链接度量 $\frac{\langle k_{in}k_{out}\rangle}{\langle k_{in}\rangle\langle k_{out}\rangle} = 3.70$ 显示入度与出度之间存在正相关，但平均出度与入度基本无关，表明缺乏清晰的结构性模式。