[논문 리뷰] Structure and Content of the Visible Darknet

Georgia Avarikioti, Roman Brunner외 3명|arXiv (Cornell University)|2018. 11. 04.

Digital Games and Media참고 문헌 7인용 수 15

한 줄 요약

이 논문은 독자적인 오픈소스 스팼을 사용하여 유저가 볼 수 있는 다크넷의 첫 번째 체계적 크롤링을 제시하며, 34,000개 이상의 숨겨진 서비스를 포함한 잘 연결된 스케일프리 네트워크임을 드러내며, 그 중 10,000개는 온라인 상태였다. 지도 학습 기반 기계학습을 통해 콘텐츠의 약 절반은 블로그, 포럼, 활동가 운동, 소프트웨어 저장소 등 합법적인 콘텐츠를 포함하고 있음을 발견했으며, 서비스의 15%는 사기나 불법 시장에 관여하고 있었다.

ABSTRACT

In this paper, we analyze the topology and the content found on the "darknet", the set of websites accessible via Tor. We created a darknet spider and crawled the darknet starting from a bootstrap list by recursively following links. We explored the whole connected component of more than 34,000 hidden services, of which we found 10,000 to be online. Contrary to folklore belief, the visible part of the darknet is surprisingly well-connected through hub websites such as wikis and forums. We performed a comprehensive categorization of the content using supervised machine learning. We observe that about half of the visible dark web content is related to apparently licit activities based on our classifier. A significant amount of content pertains to software repositories, blogs, and activism-related websites. Among unlawful hidden services, most pertain to fraudulent websites, services selling counterfeit goods, and drug markets.

연구 동기 및 목표

• 유저가 볼 수 있는 다크넷의 위상을 탐색하고 지ap을 그려내어, 다크넷이 고립되어 있으며 접근이 불가능하다는 믿음에 도전하기.
• Tor의 온리온 서비스를 탐색하고 하이퍼링크를 순차적으로 따라가며 작동할 수 있는 확장 가능한 오픈소스 다크넷 크롤러를 개발하기.
• 기계학습을 활용하여 언어, 주제, 합법성에 따라 유저가 볼 수 있는 다크넷의 콘텐츠를 종합적으로 분류하기.
• 특히 핵심 서비스 제거에 대한 영향을 고려하여 다크넷의 구조적 내구성과 변동성 평가하기.
• 미래의 다크넷 구조 및 콘텐츠 연구를 가능하게 하기 위해 공개 가능한 데이터와 도구 제공하기.

제안 방법

• Tor 프oxy, 네트워크 모듈, 파서, 컩덕터, 데이터베이스를 포함한 모듈식 오픈소스 다크넷 스파이드를 구축하여 콘텐츠와 링크 구조를 크롤링하고 저장하기.
• 초기 탐색을 가속화하고 높은 크롤링 속도를 확보하기 위해 이전 연구에서 확보한 20,000개의 .onion 주소를 시드로 사용하기.
• 정확도를 유지하면서도 레이블링 작업을 줄이기 위해 지지 벡터 머신(SVM) 분류기를 사용한 활성 학습을 적용하여 언어, 주제, 합법성에 따라 콘텐츠를 레이블링하기.
• 페이지 수준에서 분류한 후 다수결 투표 방식을 사용해 숨겨진 서비스 수준으로 집계하며, 고도수 허브 및 저장소에는 특수 처리를 적용하기.
• 도수 분포 및 직경 메트릭을 사용해 네트워크 위상 구조를 분석하여 스케일프리 구조임을 확인하고 직경이 11임을 확인하기.
• 서비스 가용성 변화를 시간에 따라 모니터링하여 교환율(chnull)을 측정하였으며, 매주 약 30%의 서비스 가용성 변화를 관찰하였다.

실험 결과

연구 질문

• RQ1 유저가 볼 수 있는 다크넷은 얼마나 잘 연결되어 있으며, 클리어넷과 유사한 스케일프리 성질을 보이는가?
• RQ2 유저가 볼 수 있는 다크넷에서 합법 콘텐츠와 불법 콘텐츠의 비율은 얼마이며, 어떤 주제가 지배적인가?
• RQ3 기계학습은 언어, 주제, 합법성에 따라 다크넷 콘텐츠를 얼마나 효과적으로 분류하는가?
• RQ4 고도수 핵심 허브 서비스를 제거했을 때 다크넷의 전체 연결성에 어떤 영향을 미치는가?
• RQ5 왜 크롤러가 다크넷의 더 큰 부분을 탐색하지 못하는가? 기술적 제약은 무엇인가?

주요 결과

• 유저가 볼 수 있는 다크넷은 34,000개 이상의 숨겨진 서비스를 포함하고 있으며, 크롤링 당시 약 10,000개가 온라인 상태였으며, 직경이 11인 잘 연결된 스케일프리 네트워크를 형성하고 있다.
• 네트워크는 힘의 법칙에 따른 도수 분포를 보이며, 포럼과 위키와 같은 고도수 허브가 존재함을 시사하며, 이러한 허브가 제거된 후에도 네트워크의 연결성이 유지됨을 보여준다.
• 유저가 볼 수 있는 다크넷 콘텐츠의 약 50%는 합법으로 분류되었으며, 이는 블로그, 포럼, 활동가 웹사이트, 소프트웨어 저장소를 포함하고 있어 다크넷이 주로 불법적이라는 고정관념을 뒤집는다.
• 숨겨진 서비스의 약 15%는 사기 행위에 관여하며, 특히 위조 제품을 유통하거나 약물 시장을 운영하는 경우가 다수 존재한다.
• 다크넷은 매우 변동성이 크며, 매주 약 30%의 서비스 가용성 변화를 보이며 빈번한 서비스 가용성 변화를 나타낸다.
• 크롤러는 중요한 부분은 탐색했지만 제한된 범위에 머물렀으며, 이는 비-HTTP 서비스 또는 일시적인 가용성으로 인해 전체 탐색이 방해될 수 있음을 시사한다.