[論文レビュー] Structure and Content of the Visible Darknet

Georgia Avarikioti, Roman Brunner+3 more|arXiv (Cornell University)|Nov 4, 2018

Digital Games and Media参考文献 7被引用数 15

ひとこと要約

本稿では、カスタムオープンソーススパイダーを用いた可視ダークネットの最初の体系的クロールを提示し、34,000件を超える隠れサービスを含む、良好に接続されたスケールフリー構造のネットワークを明らかにした。そのうち10,000件はクローリング時時点でオンラインであった。教師あり機械学習を用いて、コンテンツの約半数がブログ、フォーラム、活動的サイト、ソフトウェアリポジトリを含む合法的コンテンツであることが判明した。一方、15%のサービスは詐欺や違法マーケットに関与していた。

ABSTRACT

In this paper, we analyze the topology and the content found on the "darknet", the set of websites accessible via Tor. We created a darknet spider and crawled the darknet starting from a bootstrap list by recursively following links. We explored the whole connected component of more than 34,000 hidden services, of which we found 10,000 to be online. Contrary to folklore belief, the visible part of the darknet is surprisingly well-connected through hub websites such as wikis and forums. We performed a comprehensive categorization of the content using supervised machine learning. We observe that about half of the visible dark web content is related to apparently licit activities based on our classifier. A significant amount of content pertains to software repositories, blogs, and activism-related websites. Among unlawful hidden services, most pertain to fraudulent websites, services selling counterfeit goods, and drug markets.

研究の動機と目的

• 可視ダークネットのトポロジーを調査・マップし、それが孤立・アクセス不能であるという考えを疑問視すること。
• Torのオニオンサービスをナビゲートし、ハイパーリンクを再帰的にたどる能力を持つ、スケーラブルでオープンソースのダークネットクローラーを開発すること。
• 自然言語処理、トピック、法的性質の観点から、機械学習を用いて可視ダークネットのコンテンツを包括的に分類すること。
• 特にハブの削除に対する影響を評価し、ダークネットの構造的レジリエンスとボラティリティを検証すること。
• 将来的なダークネット構造およびコンテンツに関する研究を可能にするために、公開可能なデータとツールを提供すること。

提案手法

• Torプロキシ、ネットワークモジュール、パーサー、コントローラー、データベースを備えたモジュラーでオープンソースのダークネットスパイダーを構築し、コンテンツおよびリンク構造のクローリングと保存を実施。
• 初期発見を加速し、高いクロール速度を達成するために、先行研究から得た20,000件の.onionアドレスをシードとして使用。
• ラベル付け作業の負荷を軽減しながらも精度を維持するため、サポートベクターマシン（SVM）分類器を用いたアクティブラーニングを採用し、言語、トピック、法的性質ごとにコンテンツをラベル付け。
• ページ単位で分類を行い、多数決による集約を用いて隠れサービスレベルにラベルを統合。特に次数が高いハブやリポジトリには特別な処理を実施。
• 次数分布と直径の指標を用いてネットワークトポロジーを分析し、直径が11であるスケールフリー構造であることを確認。
• サービスの可用性を時間経過でモニタリングし、変動（チョーク）を定量化。週間で約30%のサービスがオンライン状態を変更していることが判明。

実験結果

リサーチクエスチョン

• RQ1 可視ダークネットはどれほど接続されているのか？また、クラリーネットと同様にスケールフリー特性を示すのか？
• RQ2 可視ダークネットにおける合法的コンテンツと違法的コンテンツの割合はどの程度で、どのようなトピックが支配的か？
• RQ3 機械学習は、言語、トピック、法的性質の観点からダークネットコンテンツを分類するのにどの程度効果的か？
• RQ4 高次数ハブサービスを削除した場合、ダークネット全体の接続性にどのような影響が生じるか？
• RQ5 なぜクローラーはダークネットの大部分を発見できないのか？技術的制限は何か？

主な発見

• 可視ダークネットには34,000件を超える隠れサービスが存在し、クローリング時時点で10,000件がオンラインであり、直径が11である良好に接続されたスケールフリー構造のネットワークを形成している。
• ネットワークはパワー則に従う次数分布を示しており、フォーラムやウィキなどの高接続ハブが存在し、それらが削除されてもネットワークの接続性を維持していることが判明した。
• 可視ダークネットコンテンツの約50%が合法的と分類され、ブログ、フォーラム、活動的サイト、ソフトウェアリポジトリが含まれており、ダークネットが主に違法であるというレッテルを覆す結果となった。
• 隠れサービスの約15%が詐欺的活動に関与しており、その中には偽物商品を販売するか、ドラッグマーケットとして運営されているものも含まれる。
• ダークネットは非常にボラティリティが高く、週間で約30%の変動（チョーク）を示しており、サービスの可用性が頻繁に変化していることが判明した。
• クローラーは顕著なが、限られた範囲のダークネットを発見した。これは、非HTTPサービスや一時的な利用不可状態が、完全な発見を妨げている可能性を示唆している。