[논문 리뷰] Evolutionary Dynamics of the World Wide Web

Bernardo A. Huberman, Lada A. Adamic|ArXiv.org|1999. 01. 08.

Web visibility and informetrics참고 문헌 1인용 수 47

한 줄 요약

이 논문은 월드 와이드 웹의 확률적 진화 모델을 제안하여, 웹사이트당 페이지 수의 멱법칙 분포를 변수적 성장률과 웹사이트의 서로 다른 생성 시점에 기인한 것으로 설명한다. 정규 분포 성장 과정과 시간 가중 혼합 모델을 사용하여 보편적인 멱법칙을 예측하며, 지수 β ≈ 1.7–1.9로 확인되었고, Alexa와 Infoseek의 대규모 크롤링 결과로 검증되었다. 이는 포괄적인 크롤링 없이도 희귀한 대규모 사이트를 추정할 수 있게 한다.

ABSTRACT

We present a theory for the growth dynamics of the World Wide Web that takes into account the wide range of stochastic growth rates in the number of pages per site, as well as the fact that new sites are created at different times. This leads to the prediction of a universal power law in the distribution of the number of pages per site which we confirm experimentally by analyzing data from large crawls made by the search engines Alexa and Infoseek. The existence of this power law not only implies the lack of any length scale for the Web, but also allows one to determine the expected number of sites of any given size without having to exhaustively crawl the Web.

연구 동기 및 목표

• 월드 와이드 웹에서 웹사이트당 페이지 수의 관측된 분포를 설명하는 확률 모델을 개발하기 위해.
• 웹의 진화 과정에서 웹사이트 간 성장률의 변동성과 생성 시점의 다양성을 고려하기 위해.
• 크기 기준으로 스케일에 관계없이 보편적인 멱법칙이 존재함을 예측하기 위해.
• Alexa와 Infoseek의 대규모 웹 크롤링 데이터를 활용하여 이론적 모델을 검증하기 위해.
• 포괄적인 크롤링 없이도 매우 큰 사이트의 수를 추정할 수 있도록 하기 위해, 멱법칙을 활용하기 위해.

제안 방법

• 사이트 성장을 확률적 과정으로 모델링하여, 페이지 수가 기존 페이지 수에 비례해 증가하며, 시간에 따라 변하는 성장률 g(t) = g₀ + ξ(t)를 가짐. 여기서 ξ(t)는 평균이 0인 상관 없는 노이즈이다.
• 확률 미분 방정식 dn/dt = [g₀ + ξ(t)]n의 해를 통해 시간에 따른 사이트 크기의 로그정규분포를 유도하며, n(t) = n(0)exp(g₀t + wₜ)로 표현되며, wₜ는 위너 과정이다.
• 신규 사이트의 시간적 생성을 고려하기 위해 생성 시간의 지수분포를 통합하여, 로그정규분포의 혼합모형을 도출한다.
• 시간 가중 적분의 해석적 해를 통해 점 渐진 멱법칙 P(n) ∝ n⁻ᵝ를 유도하며, 지수 β는 g₀, σ², 생성률 λ에 따라 결정된다.
• 사이트 간 이질적인 성장률을 고려하기 위해 개별 멱법칙 P(n|gᵢ) ∝ n⁻ᵝ⁽ᵍⁱ⁾을 합산하여 전체 멱법칙을 도출하며, 이때 지수 β는 혼합 모형 내에서 가장 작은 β 값에 의해 결정된다.
• 이론적 멱법칙을 두 개의 대규모 웹 크롤링 데이터(Alaxa와 Infoseek)에 적합시키기 위해, 사이트 빈도 대 사이트 크기의 로그-로그 플롯에서 선형 회귀를 사용하여 모델을 검증한다.

실험 결과

연구 질문

• RQ1 웹사이트당 페이지 수의 분포는 멱법칙을 따르는가? 만약 그렇다면, 그 보편성은 어떤 메커니즘에 기인하는가?
• RQ2 변동하는 성장률과 서로 다른 생성 시점이 함께 작용하여 관측된 사이트 크기 분포에 어떤 영향을 미치는가?
• RQ3 비례 성장과 상관 없는 변동성에 기반한 확률적 성장 모델이 실측된 사이트 크기의 멱법칙을 재현할 수 있는가?
• RQ4 생성 후 경과 시간과 확률적 성장을 모두 고려할 경우 사이트 크기 분포의 기능적 형태는 어떠한가?
• RQ5 멱법칙을 사용하여 전체 웹 크롤링 없이도 매우 큰 웹사이트의 수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• Alexa 크롤링의 경우 지수 β ∈ [1.647, 1.853], Infoseek 크롤링의 경우 β ∈ [1.775, 1.909]로, 이는 이론적 예측을 확인한다.
• 두 개의 독립적인 대규모 웹 크롤링 결과에서 멱법칙이 강건하게 유지되며, 웹 성장 역학의 근본적인 구조적 특성을 시사한다.
• 모델은 P(n₂) = P(n₁)(n₁/n₂)⁻ᵝ 공식을 통해 특정 크기의 사이트 수를 외삽을 통해 추정할 수 있음을 예측하며, 이는 희귀한 대규모 사이트를 추정하는 데 유용하다.
• 멱법칙은 사이트 생성 시간에 따라 가중된 로그정규분포의 혼합에서 유래되며, 지수 β는 g₀, σ², 생성률 λ에 의해 결정된다.
• 모델은 약 10⁵ 페이지에서 관측되는 사이트 빈도의 감소를 크롤러의 한계에 기인한 것으로 설명하며, 진정한 분포 변화가 아니라고 주장한다.
• 멱법칙의 존재는 웹에 특징적인 척도가 없음을 시사하며, 자가유사적이고 척도 불변적인 성장 역학의 가능성을 뒷받침한다.