[논문 리뷰] Adscape: Harvesting and Analyzing Online Display Ads

Paul Barford, Igor Canadi외 3명|arXiv (Cornell University)|2014. 07. 03.

Web Data Mining and Analysis참고 문헌 10인용 수 45

한 줄 요약

이 논문은 340개의 고유한 사용자 프로필을 사용하여 180개의 영어 웹사이트에서 175,000개 이상의 고유한 온라인 전면 광고를 수확하는 프로필 기반 웹 크롤링 시스템인 Adscape를 제시한다. 연구 결과, 관심사 기반 및 인구통계학적(연령/성별) 타겟팅이 광범위하게 사용되고 있으며, 광고가 사용자 프로필에 따라 상당히 다름을 확인하였고, 다양한 사업 분야에서 3,700개 이상의 고유 광고주가 확인되었다.

ABSTRACT

Over the past decade, advertising has emerged as the primary source of revenue for many web sites and apps. In this paper we report a first-of-its-kind study that seeks to broadly understand the features, mechanisms and dynamics of display advertising on the web - i.e., the Adscape. Our study takes the perspective of users who are the targets of display ads shown on web sites. We develop a scalable crawling capability that enables us to gather the details of display ads including creatives and landing pages. Our crawling strategy is focused on maximizing the number of unique ads harvested. Of critical importance to our study is the recognition that a user's profile (i.e. browser profile and cookies) can have a significant impact on which ads are shown. We deploy our crawler over a variety of websites and profiles and this yields over 175K distinct display ads. We find that while targeting is widely used, there remain many instances in which delivered ads do not depend on user profile; further, ads vary more over user profiles than over websites. We also assess the population of advertisers seen and identify over 3.7K distinct entities from a variety of business segments. Finally, we find that when targeting is used, the specific types of ads delivered generally correspond with the details of user profiles, and also on users' patterns of visit.

연구 동기 및 목표

• 사이트 부하를 최소화하면서도 사용자 기반 광고 배달 행동을 유지하는 동시에, 확장 가능한 프로필 기반 웹 크롤링 인fra를 개발하는 것.
• 광고 배달 메커니즘, 광고주 집단, 광고 다양성 등을 포함한 온라인 전면 광고 생태계의 전반적 풍경(이하 'Adscape')을 규명하는 것.
• 사용자 프로필(예: 브라우저, 쿠키)이 광고 배달에 미치는 영향을 실증적으로 조사하여 개인화 수준과 웹사이트 간 일관성의 정도를 평가하는 것.
• 제공된 광고가 사용자 프로필 특성(예: 관심사, 연령, 성별)과 얼마나 잘 일치하는지 분석하여 타겟팅의 효과성을 이해하는 것.
• 대규모 실증 데이터 수집을 통해 광고 타겟팅 시스템을 개선하고 광고 서빙 생태계를 간소화하는 데 기초적인 통찰을 제공하는 것.

제안 방법

• 개인 사용자를 시뮬레이션할 수 있는 고유한 브라우저 프로필과 쿠키를 갖춘 Firefox 브라우저를 사용하여 프로필 기반 크롤링 프레임워크를 개발하여 실제 광고 배달 시나리오를 재현함.
• 이미지 배치, 크기, 맥락을 분석하여 광고와 다른 페이지 요소를 구분하는 커스터마이즈된 광고 탐지 모듈을 구현하여 크리에이티브 및 랜딩 페이지의 정확한 수확을 보장함.
• 180개의 대규모 영어 웹사이트에 크롤러를 배포하여 수확된 광고의 다양성과 고유성을 극대화하기 위해 총 340개의 고유한 사용자 프로필을 활용함.
• 광고 크리에이티브, 랜딩 페이지, 광고주 식별자, 타겟팅 신호(예: 관심사 카테고리, 인구통계학적 타겟팅) 등의 데이터를 수집하고 정제하여 분석에 활용함.
• 콘텐츠, 광고주, 타겟팅 기준에 따라 광고를 군집화 및 분류하는 기법을 적용하여 광고 유사성 및 타겟팅 패턴을 분석할 수 있도록 함.
• 광고 신선도와 캠프agn 동적 변화를 평가하기 위해 종단형 크롤링 전략을 적용하여 데이터가 현재 광고 배달 관행을 정확히 반영하도록 함.

실험 결과

연구 질문

• RQ1 웹사이트들은 전면 광고에서 어느 정도 타겟팅 메커니즘을 사용하며, 이는 다양한 사용자 프로필 간에 어떻게 다름?
• RQ2 온라인 전면 광고 생태계에서 광고주의 인구는 얼마나 다양하며, 어떤 사업 분야가 가장 많이 포함되어 있는가?
• RQ3 제공된 광고가 관심사, 연령, 성별과 같은 사용자 프로필 특성과 얼마나 잘 일치하는가?
• RQ4 광고 변형은 웹사이트 간 차이와 사용자 프로필 간 차이 중 어느 쪽이 더 큰 영향을 미치는가, 그리고 어떤 요소가 광고 배달에 더 큰 영향을 미치는가?
• RQ5 웹 전반에 걸쳐 배달된 전면 광고의 총괄적 다양성과 고유성은 어떠한가, 그리고 이는 사용자 기반 맥락에 따라 어떻게 변화하는가?

주요 결과

• 연구 대상 웹사이트의 전면 광고 인벤토리의 80퍼센트 이상이 타겟팅 메커니즘을 사용하고 있어 개인화된 광고 배달의 광범위한 사용을 시사함.
• 시스템은 175,000개 이상의 고유한 전면 광고를 수확하였으며, 다양한 사용자 프로필 간 광고 콘텐츠와 타겟팅에 상당한 차이가 있음을 확인하여 강력한 개인화 효과를 시사함.
• 쇼핑, 금융 서비스, 컴퓨터 판매 등 다양한 사업 분야에서 3,700개 이상의 고유 광고주가 확인되어 활발하고 광범위한 광고 생태계를 반영함.
• 관심사 기반 타겟팅이 널리 도입되어 있으며, 광고가 일반적으로 사용자 프로필 특성(관심사, 연령, 성별)과 잘 일치함을 확인하여 행동 기반 타겟팅의 효과성을 확인함.
• 광고가 사용자 프로필 간 변화가 웹사이트 간 변화보다 더 크게 나타나, 사용자 수준의 프로필링이 사이트 수준의 콘텐츠보다 광고 배달에 더 큰 영향을 미침을 시사함.
• 광범위한 타겟팅에도 불구하고, 많은 광고가 프로필과 무관하게 모든 사용자에게 동일하게 배달됨을 확인하여 타겟팅 구현의 한계나 일관성 부족을 시사함.