[논문 리뷰] Remembering what we like: Toward an agent-based model of Web traffic

Bruno Gonçalves, Mark Meiss외 3명|arXiv (Cornell University)|2009. 01. 24.

Complex Network Analysis Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 사용자 기억을 북마크 목록과 탭 기반 브라우징 행동을 통해 반영하는 에이전트 기반 웹 내비게이션 모델인 BookRank를 제안한다. 이는 실제 웹 트래픽 패턴을 더 잘 재현하기 위해 설계되었다. 북마크 순서로 다시 탐색을 시작하고, 뒤로 가기 버튼이나 탭을 통해 분기 탐색을 允허하는 사용자를 모델링함으로써, BookRank는 PageRank보다 개별 브라우징 다양성, 링크 트래픽 분포, 재방문 시간 분포를 더 정확하게 예측한다.

ABSTRACT

Analysis of aggregate Web traffic has shown that PageRank is a poor model of how people actually navigate the Web. Using the empirical traffic patterns generated by a thousand users over the course of two months, we characterize the properties of Web traffic that cannot be reproduced by Markovian models, in which destinations are independent of past decisions. In particular, we show that the diversity of sites visited by individual users is smaller and more broadly distributed than predicted by the PageRank model; that link traffic is more broadly distributed than predicted; and that the time between consecutive visits to the same site by a user is less broadly distributed than predicted. To account for these discrepancies, we introduce a more realistic navigation model in which agents maintain individual lists of bookmarks that are used as teleportation targets. The model can also account for branching, a traffic property caused by browser features such as tabs and the back button. The model reproduces aggregate traffic patterns such as site popularity, while also generating more accurate predictions of diversity, link traffic, and return time distributions. This model for the first time allows us to capture the extreme heterogeneity of aggregate traffic measurements while explaining the more narrowly focused browsing patterns of individual users.

연구 동기 및 목표

• Markovian 모델(예: PageRank)이 실제 사용자 웹 내비게이션 행동을 포괄하지 못하는 한계를 해결하기 위해.
• 실제 데이터에서 관찰된 집합적 트래픽 패턴과 개인의 브라우징 습관 간의 괴리를 설명하기 위해.
• 사용자 기억, 북마크 행동, 분기 내비게이션(예: 탭, 뒤로 가기 버튼)을 고려한 모델을 개발하기 위해.
• 웹 트래픽에서 사이트 다양성, 링크 트래픽 분포, 재방문 시간 분포의 예측을 향상시키기 위해.
• 집합적 트래픽의 광범위한 이질성과 개인 사용자의 집중적이고 반복적인 브라우징 패턴을 조율하기 위해.

제안 방법

• 각 사용자가 방문 빈도에 따라 순서가 매겨진 북마크 목록을 개인적으로 유지하는 에이전트 기반 모델인 BookRank를 제안한다.
• 에이전트는 웹 그래프에서 무작위 보행을 수행하며, 방문 빈도에 따라 가중치가 부여된 북마크 페이지로 전이(텔레포트)된다.
• 멀티탭 브라우징이나 뒤로 가기 기능을 시뮬레이션하기 위해 분기 파라미터 pb를 도입한다. 이는 사용자가 세션 내에서 여러 페이지를 재방문할 수 있도록 허용한다.
• 방문 횟수에 따라 가중치가 매겨진 북마크에 대한 확률 분포를 사용하여, 자주 방문하는 사이트로의 사용자 선호도를 모델링한다.
• 사용자가 확률 pt로 새로운 페이지로 점프하거나, 확률 1 - pt로 북마크된 페이지로 되돌아오는 스토케스틱 프로세스를 적용한다.
• 나무 구조를 활용한 브라우징 세션 시뮬레이션을 수행하며, 분기 능력은 pb로 제어하고, 엔트로피, 재방문 시간, 링크 트래픽 분포를 측정한다.

실험 결과

연구 질문

• RQ1 PageRank가 랭킹 알고리즘에서 성공을 거두었음에도 불구하고, 왜 실제 웹 트래픽 패턴을 예측하지 못하는가?
• RQ2 개별 사용자 브라우징 행동(예: 사이트 다양성, 재방문 시간 등)은 Markovian 가정에서 얼마나 벗어나 있는가?
• RQ3 사용자 기억과 북마크 행동이 링크 트래픽과 사이트 인기의 넓은 분포를 얼마나 잘 설명할 수 있는가?
• RQ4 탭 기반 브라우징 또는 뒤로 가기 기능 사용이 방문된 사이트 분포와 재방문 시간에 어떤 영향을 미치는가?
• RQ5 북마크와 분기 기능을 포함한 비-Markovian 모델이 PageRank보다 개인 및 집합적 트래픽 패턴을 더 정확하게 재현할 수 있는가?

주요 결과

• 실제 데이터에서 개인 사용자의 다양성(Shannon 엔트로피로 측정)은 PageRank가 예측한 것보다 유의미하게 낮고, 더 넓게 분포되어 있다.
• 실제 데이터에서 링크 트래픽 분포는 PageRank가 예측한 것보다 훨씬 넓으며, 사용자가 링크를 어떻게 이동하는지에 대한 변동성이 더 크다는 것을 시사한다.
• 이미 방문한 사이트로의 재방문 시간 분포는 PageRank가 예측한 것보다 좁다. 이는 더 강한 사용자 습관과 반복 방문이 있음을 시사한다.
• 분기 파라미터 pb ≈ 0.19–0.20을 가진 BookRank는 특히 분기 능력을 높일수록 실제 데이터와 매우 유사한 엔트로피 분포를 생성한다.
• BookRank는 PageRank보다 재방문 시간 분포의 파워 법칙 지수를 낮춰 더 현실적인 재방문 시간을 만들어낸다.
• 방문 빈도에 따라 북마크를 순서 정렬하는 것만으로도 실질적인 노드 및 링크 트래픽 분포를 재현할 수 있으며, 이는 내비게이션에서 기억의 중요성을 입증한다.