[논문 리뷰] Graph Theoretic Properties of the Darkweb

Virgil Griffith, Yang Xu외 1명|arXiv (Cornell University)|2017. 04. 25.

Complex Network Analysis Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 그래프 이론을 사용하여 다크웹의 하이퍼링크 구조를 분석하여, .onion 도메인의 87퍼센트 이상이 다른 사이트와 연결되지 않음을 발견했다. 이는 극도로 분할된 상태임을 시사한다. 월드 와이드 웹과 달리, 다크웹은 진정한 웹이 아니라 고립된 '다크 실로'로 기능하며, 기술적 불안정성보다는 사회적 행동이 낮은 연결성의 원인임을 보여준다.

ABSTRACT

We collect and analyze the darkweb (a.k.a. the "onionweb") hyperlink graph. We find properties highly dissimilar to the well-studied world wide web hyperlink graph; for example, our analysis finds that >87% of darkweb sites never link to another site. We compare our results to prior work on world-wide-web and speculate about reasons for their differences. We conclude that in the term "darkweb", the word "web" is a connectivity misnomer. Instead, it is more accurate to view the darkweb as a set of largely isolated dark silos.

연구 동기 및 목표

• 그래프 이론을 사용하여 다크웹의 하이퍼링크 그래프의 구조적 성질을 조사한다.
• 다크웹의 연결성 패턴을 잘 연구된 월드 와이드 웹과 비교한다.
• 다크웹에서의 낮은 외부 링크 행동이 기술적 불안정성인지 사회적 요인인지 판단한다.
• 다크웹이라는 용어가 그 구조적 현실을 정확히 반영하고 있는지 평가한다. 이는 웹 유사한 연결성이 부족하기 때문이다.

제안 방법

• tor2web 프록시 onion.link 를 통해 다크웹 데이터를 수집하였으며, .onion 도메인의 두 개의 정제된 목록에서 웹 크롤러를 사용하였다.
• 노드는 .onion 도메인을, 간선은 도메인 간 하이퍼링크를 나타내는 방향성 그래프를 구축하였으며, 간선의 가중치는 링크하는 페이지 수를 세었다.
• 10회 이상 시도 후 응답이 없는 도메인을 제거하여 데이터 무결성을 확보하였으며, 이로 인해 그래프는 7,178개의 노드와 25,104개의 간선으로 축소되었다.
• 표준 그래프 이론적 측정법을 적용: 차수 분포, 약한 연결 성분(WCC), 코어-페리퍼리 구조, 조화 중심성, PageRank.
• 도메인 분포의 힘법칙 행동을 평가하기 위해 plfit 등의 통계 도구를 사용하였다.
• 정규화된 상관계수 지표를 사용하여 다크웹과 월드 와이드 웹 간의 상호 링크 패턴과 중심성 측정치를 비교하였다.

실험 결과

연구 질문

• RQ1 다크웹 하이퍼링크 그래프의 총괄 연결 구조는 월드 와이드 웹과 비교해 어떻게 되어 있는가?
• RQ2 왜 다크웹에서 외부 링크 비율이 낮은가? 이는 기술적 불안정성 때문인가, 사회적 행동 때문인가?
• RQ3 다크웹은 소월드 특성이나 코어-페리퍼리 조직과 같은 웹 유사 성질을 어느 정도 보이는가?
• RQ4 PageRank와 조화 중심성과 같은 중심성 측정치가 다크웹 전반에 어떻게 분포되어 있으며, 이는 정보 흐름에 어떤 의미를 갖는가?
• RQ5 용어 '다크웹'은 네트워크의 구조적 성질을 정확히 반영하고 있는가, 아니면 잘못된 명칭인가?

주요 결과

• 비응답 도메인을 제거한 후 다크웹은 7,178개의 노드와 25,104개의 간선를 가진 단일 약한 연결 성분(WCC)을 형성한다.
• 다크웹 도메인의 87퍼센트가 외부 차수 0을 가지며, 이는 다른 사이트와 연결되지 않음을 의미한다. 이는 극도로 분할된 상태임을 시사한다.
• 높은 정도의 고립에도 불구하고 평균 최단 경로 길이는 4.35로, 월드 와이드 웹의 4.27과 약간만 길며, 놀랍도록 높은 탐색 가능성을 보여준다.
• 네트워크 지름은 5이며, 월드 와이드 웹의 48에 비해 상당히 작다. 이는 두 노드 사이가 일반적으로 매우 짧은 경로로 연결되어 있음을 의미한다.
• 조화 지름은 232.49로, 월드 와이드 웹의 약 ~9.55보다 훨씬 크며, 연결이 잘 되지 않은 노드가 많다는 것을 반영한다.
• 상호 링크 지표 $\frac{\langle k_{in}k_{out}\rangle}{\langle k_{in}\rangle\langle k_{out}\rangle} = 3.70$ 는 들어오는 차수와 나가는 차수 사이에 양의 상관관계가 있음을 보여주지만, 평균 나가는 차수는 들어오는 차수에 크게 의존하지 않으며, 명백한 구조적 패턴이 없음을 시사한다.