[논문 리뷰] You, the Web and Your Device: Longitudinal Characterization of Browsing Habits

Luca Vassio, Idílio Drago외 3명|arXiv (Cornell University)|2018. 06. 19.

Web Data Mining and Analysis참고 문헌 49인용 수 15

한 줄 요약

이 논문은 2013–2016년 동안의 대규모 인터넷 서비스 제공업체(ISP) 데이터셋에서 수동 HTTP 트레이스를 기반으로 사용자가 주도한 웹 페이지 방문을 식별하는 기계학습 기반 방법을 제시한다. 이는 PC 및 스마트폰 사용자 간의 클릭스트림 행동에 대한 종단 간 특성 분석을 가능하게 한다. 연구 결과, 모바일 브라우징은 급격히 증가하고 있으며, 검색 엔진은 직접적이고 간접적인 탐색을 이끌고 있으며, 소셜 네트워크는 짧고 자가 포함된 브라우징 세션을 촉진하며 높은 사용자 유지를 보인다.

ABSTRACT

Understanding how people interact with the web is key for a variety of applications, e.g., from the design of effective web pages to the definition of successful online marketing campaigns. Browsing behavior has been traditionally represented and studied by means of clickstreams, i.e., graphs whose vertices are web pages, and edges are the paths followed by users. Obtaining large and representative data to extract clickstreams is however challenging. The evolution of the web questions whether browsing behavior is changing and, by consequence, whether properties of clickstreams are changing. This paper presents a longitudinal study of clickstreams in from 2013 to 2016. We evaluate an anonymized dataset of HTTP traces captured in a large ISP, where thousands of households are connected. We first propose a methodology to identify actual URLs requested by users from the massive set of requests automatically fired by browsers when rendering web pages. Then, we characterize web usage patterns and clickstreams, taking into account both the temporal evolution and the impact of the device used to explore the web. Our analyses precisely quantify various aspects of clickstreams and uncover interesting patterns, such as the typical short paths followed by people while navigating the web, the fast increasing trend in browsing from mobile devices and the different roles of search engines and social networks in promoting content. Finally, we contribute a dataset of anonymized clickstreams to the community to foster new studies (anonymized clickstreams are available to the public at http://bigdata.polito.it/clickstream).

연구 동기 및 목표

• 2013년에서 2016년 사이에 스마트폰의 확산과 주요 온라인 서비스의 영향을 고려해 웹 브라우징 행동이 어떻게 변화했는지 이해하기 위해.
• 수동 네트워크 트레이스에서 자동화된 브라우저 요청과 사용자가 주도한 웹 페이지 방문을 구분하는 문제를 해결하기 위해.
• 다양한 기기(PC 대비 스마트폰) 간 클릭스트림 구조를 특성화하고, 검색 엔진과 소셜 네트워크의 콘텐츠 탐색에서 수행하는 역할의 변화를 규명하기 위해.
• 향후 웹 사용, 개인정보 보호 및 추천 시스템 연구를 위해 연구 공동체가 활용할 수 있는 대규모 익명화된 클릭스트림 그래프 데이터셋 기여하기 위해.

제안 방법

• 요청 패턴을 기반으로 HTTP 요청을 사용자 행동(명시적 방문) 또는 자동 행동(예: 스크립트, 미디어)으로 분류하는 기계학습 기반 접근법을 제안하며, 정밀도와 재현율 모두 90% 이상을 달성한다.
• 25,000개 가구에서 수집한 3년간의 640억 건 이상의 HTTP 요청 데이터셋에 모델를 적용하여 10억 건 이상의 방문된 페이지에서 550만 개의 클릭스트림 그래프를 추출한다.
• 브라우저별로 요청을 그룹화하여 기기 유형별 클릭스트림 그래프를 구축함으로써 각 기기 유형의 브라우징 행동 분석이 가능하게 한다.
• 실제 누적분포함수(ECDF)를 사용하여 검색 엔진(SE) 및 온라인 소셜 네트워크(OSN)에 직접 또는 간접적으로 연결된 페이지 비율을 분석한다.
• PC 및 스마트폰에서 검색 엔진과 소셜 네트워크로부터 직접 또는 간접적으로 도달 가능한 웹 페이지 비율의 시간적 변화를 추적하여 탐색 패턴의 변화를 탐지한다.
• 다양한 네트워크 환경 및 기기 유형에서 메서드의 강인성을 검증하여 실세계의 수동 측정에서 사용자 행동을 신뢰성 있게 식별할 수 있음을 확인한다.

실험 결과

연구 질문

• RQ1 2013년에서 2016년 사이에 클릭스트림 그래프의 구조, 경로 길이, 콘텐츠 탐색 방식은 어떻게 변화했는가?
• RQ2 PC 사용자와 스마트폰 사용자의 브라우징 행동은 탐색 패턴과 콘텐츠 탐색 원천 측면에서 어떻게 다를까?
• RQ3 검색 엔진과 소셜 네트워크는 콘텐츠 홍보에 어떤 역할을 하는가? 이러한 역할은 시간이 지남에 따라 어떻게 변화했는가?
• RQ4 HTTPS 암호화 연결은 수동 네트워크 트레이스에서 클릭스트림 그래프 재구성에 얼마나 영향을 미치는가?

주요 결과

• 클릭스트림 그래프의 중앙 경로 길이는 짧으며, 사용자는 일반적으로 세션당 몇 페이지 정도만 방문함을 시사하며, 초기 진입 지점 외에는 최소한의 탐색을 한다.
• 모바일 브라우징은 급격히 증가하고 있으며, 스마트폰은 이제 웹 트래픽의 중요한 비중을 차지하고 있으며, 특히 콘텐츠 탐색에서 주요 역할을 한다.
• PC 사용자에게서는 검색 엔진이 콘텐츠 탐색의 주요 원천이며, 방문된 페이지 중 17%는 검색 엔진에 직접 연결되어 있고, 42%는 검색 엔진으로부터 도달 가능하다.
• 스마트폰 사용자에게서는 소셜 네트워크에서 도달 가능한 페이지 비율이 검색 엔진에서 도달 가능한 비율과 유사해졌으며, 탐색 행동의 변화를 시사한다.
• 소셜 네트워크 사용자는 높은 유지율을 보이며, 소셜 네트워크에서 연결된 웹 페이지 중 61%는 외부 링크가 없어, 사용자가 외부 링크를 클릭한 후에도 플랫폼으로 다시 돌아온다.
• 스마트폰에서 검색 엔진을 통한 콘텐츠 탐색 비중은 감소하는 반면, 소셜 네트워크는 점점 더 주요 탐색 도구로 자리 잡고 있다.