[논문 리뷰] Decoding the structure of the WWW: facts versus sampling biases

M. Ángeles Serrano, Ana Gabriela Maguitman외 3명|ArXiv.org|2005. 11. 08.

Web visibility and informetrics참고 문헌 32인용 수 6

한 줄 요약

이 논문은 네 개의 대규모로 서로 다른 출처를 가진 웹 크롤 데이터셋을 분석함으로써 웹 그래프 측정에서의 샘플링 편향을 조사한다. 상호 링크(페이지 간 상호 링크)를 핵심적인 위상적 특성으로 규명하여 구조적 상관관계를 드러내고 크롤러에 의한 산물과 진정한 웹 구조를 구분한다. 이는 상호 링크 통계가 웹 그래프 내에서 가장 중요한 위상적 정보를 담고 있음을 입증한다.

ABSTRACT

The understanding of the immense and intricate topological structure of the World Wide Web (WWW) is a major scientific and technological challenge. This has been tackled recently by characterizing the properties of its representative graphs in which vertices and directed edges are identified with web-pages and hyperlinks, respectively. Data gathered in large scale crawls have been analyzed by several groups resulting in a general picture of the WWW that encompasses many of the complex properties typical of rapidly evolving networks. In this paper, we report a detailed statistical analysis of the topological properties of four different WWW graphs obtained with different crawlers. We find that, despite the very large size of the samples, the statistical measures characterizing these graphs differ quantitatively, and in some cases qualitatively, depending on the domain analyzed and the crawl used for gathering the data. This spurs the issue of the presence of sampling biases and structural differences of Web crawls that might induce properties not representative of the actual global underlying graph. In order to provide a more accurate characterization of the Web graph and identify observables which are clearly discriminating with respect to the sampling process, we study the behavior of degree-degree correlation functions and the statistics of reciprocal connections. The latter appears to enclose the relevant correlations of the WWW graph and carry most of the topological information of theWeb. The analysis of this quantity is also of major interest in relation to the navigability and searchability of the Web.

연구 동기 및 목표

• 다양한 크롤링 전략이 웹 그래프의 측정된 위상적 성질에 미치는 영향을 평가하기 위해.
• 다양한 데이터 샘플에서 견고한 성질을 보이는 구조적 특성과 샘플링 편향에 의한 산물인 특성들을 식별하기 위해.
• 특히 상호 링크 구조와 같은 통계적 측정치가 기존의 도수 분포보다 진정한 웹 위상에 더 신뢰할 수 있는 특성화를 제공하는지 판단하기 위해.
• 상호 링크가 웹의 탐색 가능성과 검색 가능성에 미치는 역할을 평가하기 위해.

제안 방법

• 다양한 도메인과 시기의 네 개의 대규모 독립적 크롤링 웹 그래프에 대한 비교 통계 분석.
• 들어오는 차수와 나가는 차수 분포, 차수-차수 상관관계, 클러스터링 계수 분석.
• 상호 링크 서브그래프를 무방향 그래프로 간주하여 국소 연결성 분석을 위해 클러스터링 계수 $ c_j $ 와 평균 근접 이웃 차수 $ \overline{q}_{r,nn}(q_r) $ 를 활용.
• 상호 링크 서브그래프 내 이웃 간 연결 정도를 평가하기 위해 클러스터링 계수 $ \overline{c}(q_r) $ 를 사용.
• 차수에 따른 클러스터링과 근접 이웃 차수 분석을 통해 클리크나 스타 구조와 같은 구조적 패턴을 탐지.
• 여러 크롤링 결과 간 교차 검증을 통해 지속적인 구조적 특성과 샘플링 산물 간을 구분.

실험 결과

연구 질문

• RQ1 다양한 웹 크롤링 결과가 웹 그래프의 정량적·정성적 위상 측정치에 얼마나 다른 영향을 미치는가?
• RQ2 다양한 크롤 데이터셋 간 일관성을 유지하는 위상 관측치는 무엇이며, 샘플링 편향에 민감한 것은 무엇인가?
• RQ3 상호 링크는 웹 그래프의 전체적인 구조와 상관관계 패턴에 어떻게 기여하는가?
• RQ4 상호 링크 서브그래프는 진정한 웹의 기초 위상 구조를 이해하는 데 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ5 상호 링크는 웹의 탐색 가능성과 검색 가능성에 어떤 역할을 하는가?

주요 결과

• 상호 링크 서브그래프는 높고 일정한 클러스터링 계수 $ \overline{c}(q_r) $ 를 보이며, 이는 크롤링 출처와 무관하게 높은 상호 연결성을 가진 커뮤니티와 스타 구조를 형성하는 핵심 구조를 나타낸다.
• 네 개의 데이터셋 전반에서 평균 근접 이웃 차수 $ \overline{q}_{r,nn}(q_r) $ 와 클러스터링 계수 $ \overline{c}(q_r) $ 가 일관된 패턴을 보이며, 이는 웹의 진정한 구조적 특성임을 시사한다.
• 비상호 링크 차수-차수 상관관계는 크롤링 간에 크게 다름을 보이며, 이는 기존의 도수 기반 측정치가 샘플링 편향에 매우 민감함을 나타낸다.
• 상호 링크 통계는 가장 정보가 많은 위상 관측치이며, 웹 그래프 내 관련된 상관관계 구조의 대부분을 담고 있다.
• 밀도 있고 상호 연결된 상호 링크 서브그래프(특히 클리크와 스타 구조 허브 포함)의 존재는 웹 탐색과 링크 장애에 대한 내성에 기능적 역할을 한다고 시사한다.
• 대규모 데이터에도 불구하고 관측된 웹의 위상적 성질은 크롤러 설계에 의해 크게 영향을 받으며, 이는 이전 연구에서 제기된 보편성 주장에 의문을 제기한다.