[논문 리뷰] A Comparison of Techniques for Sampling Web Pages

Eda Baykan, Monika Henzinger외 3명|ArXiv.org|2009. 02. 10.

Web Data Mining and Analysis참고 문헌 13인용 수 7

한 줄 요약

이 논문은 동일한 조건에서 세 가지 랜덤 워크 기반 웹 샘플링 알고리즘—알고리즘 A, B, 및 C—을 비교하여 편향과 대표성을 평가한다. 연구 결과, 알고리즘 A와 B는 낮은 아웃디그리(출구 수)를 가진 호스트에 갇혀 있는 현상으로 심각한 편향을 보이며, 알고리즘 C는 높은 페이지랭크와 높은 아웃디그리 페이지를 향한 강한 편향을 보이지만 거의 갇히지 않는다. 연구는 알고리즘 B에 상태 서브샘플링을 적용할 경우 세 알고리즘 중에서 가장 우수한 성능을 보인다고 결론 내린다.

ABSTRACT

As the World Wide Web is growing rapidly, it is getting increasingly challenging to gather representative information about it. Instead of crawling the web exhaustively one has to resort to other techniques like sampling to determine the properties of the web. A uniform random sample of the web would be useful to determine the percentage of web pages in a specific language, on a topic or in a top level domain. Unfortunately, no approach has been shown to sample the web pages in an unbiased way. Three promising web sampling algorithms are based on random walks. They each have been evaluated individually, but making a comparison on different data sets is not possible. We directly compare these algorithms in this paper. We performed three random walks on the web under the same conditions and analyzed their outcomes in detail. We discuss the strengths and the weaknesses of each algorithm and propose improvements based on experimental results.

연구 동기 및 목표

• 동일한 실험 조건에서 세 가지 랜덤 워크 기반 웹 샘플링 알고리즘(A, B, 및 C)의 대표성을 평가하고 비교하는 것.
• 각 알고리즘의 샘플링 행동에서 발생하는 편향, 특히 호스트 연결성, 아웃디그리, 페이지랭크, 콘텐츠 길이 측면에서의 편향을 규명하고 분석하는 것.
• 서브샘플링 전략(단계 대비 상태)이 샘플 품질과 편향에 미치는 영향을 평가하는 것.
• 실험 결과를 바탕으로 개선 방안을 제안하는 것, 특히 알고리즘 A와 B의 '갇힘' 문제를 해결하는 데 중점을 두는 것.

제안 방법

• 동일한 컴퓨팅 자원과 시간 제약 조건 하에서 웹에서 세 개의 독립적인 랜덤 워크를 수행하여 알고리즘 A, B, 및 C를 적용.
• 다양한 서브샘플링 기법 적용: 마지막 반 또는 1/4의 단계에서 선택하거나, 단계 대신 상태를 서브샘플링하여 호스트 기반 편향을 줄이는 방식.
• 초기 노드 편향을 최소화하기 위해 동일한 시작 노드와 웹 크롤링 기간을 사용.
• 핵심 지표인 호스트 빈도, 아웃디그리, 최상위 도메인, 문서 콘텐츠 길이, 페이지랭크에 대해 샘플 분포 분 析.
• 결과 샘플을 상호 비교하여 대표성과 체계적 편향을 식별.
• 단계 기반 서브샘플링과 상태 기반 서브샘플링의 영향을 평가하며, 단계 기반 서브샘플링은 호스트 수준의 편향을 악화시킨다는 점을 확인.

실험 결과

연구 질문

• RQ1 세 가지 랜덤 워크 기반 샘플링 알고리즘(A, B, 및 C)이 주요 웹 지표에서 대표성 측면에서 어떻게 비교될 수 있는가?
• RQ2 왜 알고리즘 A와 B는 아웃엣지 수가 적고 내부 연결성이 높은 호스트를 강하게 향하는가?
• RQ3 알고리즘 C의 설계가 높은 페이지랭크와 높은 아웃디그리 웹 페이지를 향한 편향을 얼마나 강하게 유도하는가?
• RQ4 단계에서 서브샘플링할지, 상태에서 서브샘플링할지의 여부가 각 알고리즘의 샘플 대표성에 어떤 영향을 미치는가?
• RQ5 알고리즘 C와 마찬가지로 주기적인 무작위 리셋을 도입함으로써 알고리즘 A와 B의 '갇힘' 행동을 완화시킬 수 있는가?

주요 결과

• 알고리즘 A와 B는 아웃엣지 수가 적고 내부적으로 매우 연결성이 높은 호스트에 심각한 편향을 보이며, 이는 수차례 연속 방문 후에도 호스트를 떠나지 못하는 '갇힘' 행동으로 인한 것이다.
• 알고리즘 C는 무작위 리셋 메커니즘 덕분에 실험 기간 동안 한 번도 갇히지 않았지만, 높은 페이지랭크와 높은 아웃디그리 웹 페이지를 향한 강한 편향을 보였다.
• A와 B 샘플의 30퍼센트 이상이 단지 세 개의 호스트에 속해 있어, 호스트 분포가 열악하고 대표성이 낮다는 것을 시사한다.
• 단계 대신 상태에서 서브샘플링하는 것이 호스트 수준의 편향을 크게 감소시켰으며, 특히 A와 B 샘플의 경우 단계 서브샘플링 시 콘텐츠 길이와 호스트 빈도에 급격한 피크가 나타났다.
• 서브샘플링 전략은 A와 B 샘플에 큰 영향을 주었지만 C 샘플에는 미미한 영향을 주었으며, 이는 C의 편향이 워크 메커니즘 자체에 내재되어 있음을 시사한다.
• A와 B 샘플 간 성능 차이는 방문한 노드 집합이 거의 동일하기 때문에 주로 서브샘플링 확률의 차이(도수에 반비례 vs. 균일)에서 기인하며, 방문한 노드 세트 자체의 차이가 아니다.