[論文レビュー] Graph Theoretic Properties of the Darkweb

Virgil Griffith, Yang Xu+1 more|arXiv (Cornell University)|Apr 25, 2017

Complex Network Analysis Techniques参考文献 15被引用数 7

ひとこと要約

この論文は、グラフ理論を用いてダークウェブのハイパーリンク構造を分析し、87%以上の.onionドメインが他のサイトにリンクしないことが判明した。これは極めて断片的な構造を示しており、ワールドワイドウェブとは異なり、真のウェブではなく、孤立した「ダークシロ」の集まりとして機能している。接続性の低さは技術的不安定性よりも社会的行動に起因している。

ABSTRACT

We collect and analyze the darkweb (a.k.a. the "onionweb") hyperlink graph. We find properties highly dissimilar to the well-studied world wide web hyperlink graph; for example, our analysis finds that >87% of darkweb sites never link to another site. We compare our results to prior work on world-wide-web and speculate about reasons for their differences. We conclude that in the term "darkweb", the word "web" is a connectivity misnomer. Instead, it is more accurate to view the darkweb as a set of largely isolated dark silos.

研究の動機と目的

• グラフ理論を用いてダークウェブのハイパーリンクグラフの構造的性質を調査すること。
• よく研究されているワールドワイドウェブと比較して、ダークウェブの接続性パターンを分析すること。
• ダークウェブにおけるリンク行動の低さが技術的不安定性に起因するのか、それとも社会的要因に起因するのかを特定すること。
• 接続性に欠ける構造的特徴を考慮すると、「ダークウェブ」という用語がその構造的現実を的確に反映しているのかを評価すること。

提案手法

• tor2webプロキシのonion.linkを介してダークウェブのデータを収集し、2つの. onionドメインのリストを基にウェブクローラーを用いて収集した。
• ノードを.onionドメイン、エッジをドメイン間のハイパーリンクとし、エッジの重みはリンク元ページ数を数えることで、有向グラフを構築した。
• 10回以上の試行で応答のないドメインを除外してデータの整合性を確保し、結果として7,178ノード、25,104エッジのグラフに削減した。
• 標準的なグラフ理論的指標を適用：次数分布、弱連結成分（WCC）、コア・パーサー構造、調和中心性、PageRank。
• 度数分布におけるべき乗則の挙動を評価するために、plfitなどの統計ツールを用いた。
• 正規化相関係数を用いて、ダークウェブとワールドワイドウェブの相互リンクパターンおよび中心性指標を比較した。

実験結果

リサーチクエスチョン

• RQ1 ダークウェブのハイパーリンクグラフの全体的な接続構造は、ワールドワイドウェブと比べてどのように異なるか？
• RQ2 なぜダークウェブでは出リンクの割合が極めて低く抑えられているのか。これは技術的不安定性によるものか、社会的行動によるものか？
• RQ3 ダークウェブは、スモールワールド的特性やコア・パーサー構造といったウェブに似た性質をどの程度示しているか？
• RQ4 PageRank や調和中心性といった中心性指標はダークウェブ全体でどのように分布しているのか。これは情報の流れにどのような意味を持つのか？
• RQ5 「ダークウェブ」という用語は、ネットワークの構造的特徴を的確に反映しているのか、それとも誤解を招く用語なのか？

主な発見

• 非応答ドメインを除外した後、ダークウェブは7,178ノード、25,104エッジを有する1つの弱連結成分（WCC）を形成した。
• 87%のダークウェブドメインがアウト・ディグリーが0であるため、他のいかなるサイトに対してもリンクを行わないことが判明し、極めて断片的な構造であることが示された。
• 高い孤立性にもかかわらず、平均最短経路長は4.35であり、ワールドワイドウェブの4.27とほとんど変わらないため、驚くべきほど高いナビゲーション性を示している。
• ネットワーク径は5であり、ワールドワイドウェブの48に比べて顕著に小さい。これは、任意の2ノード間が通常非常に短い経路で接続されていることを示している。
• 調和直径は232.49であり、ワールドワイドウェブの約9.55に比べてはるかに大きい。これは、多くのノードが接続が弱く、孤立していることを反映している。
• 相互リンク度合指標 $\frac{\langle k_{in}k_{out}\rangle}{\langle k_{in}\rangle\langle k_{out}\rangle} = 3.70$ は、イン・ディグリーとアウト・ディグリーの間に正の相関があることを示しているが、平均アウト・ディグリーはイン・ディグリーに強く依存せず、明確な構造的パターンは見られない。