[논문 리뷰] GeoCUTS: Geographic Clustering Using Travel Statistics.

David Rolnick, Kevin Aydin외 3명|arXiv (Cornell University)|2016. 11. 11.

Complex Network Analysis Techniques참고 문헌 18인용 수 3

한 줄 요약

GeoCUTS는 익명화된 모바일 사용자 트래픽을 분석하여 이동 그래프를 구축함으로써 웹 및 모바일 서비스에서 A/B 테스트를 위한 지리적으로 일관된 클러스터를 형성하는 데이터 기반 알고리즘입니다. 이 알고리즘은 사용자 간 이동을 최소화하는 균형 잡힌 클러스터를 생성하여 전 세계적으로 수작업으로 구성한 미국 DMAs와 유사한 성능을 달성하며, 확장 가능하고 개인정보 보호에 유리한 실험을 가능하게 합니다.

ABSTRACT

Web-based services often run experiments to improve their products. To carry out an effective experiment and evaluate the results appropriately, there must be a control group and at least one treatment group. Ideally all of these groups are disjoint, so that each user is given a specific treatment. Using geographical locations as units of experimentation is desirable because this does not require tracking individual users or browser cookies. With the popularity of mobile devices, a user may issue queries from multiple geographical locations. Hence, to be used as units of experimentation, geographical partitions should be chosen in a way that reduces transit between regions. The strategy of clustering users by region is common in advertising. Designated marketing areas (DMAs) are specifically designed for this purpose. However, DMAs are restricted to the US and their granularity is inflexible (there are around two hundred in total). Moreover, they are built based on population density - one DMA per metropolitan area - rather than mobile movement patterns. In this paper, we present GeoCUTS, an algorithm that forms geographical clusters to minimize movement between clusters while preserving rough balance in cluster size. We use a random sample of anonymized mobile user traffic to form a graph representing user movements, then construct a geographically coherent clustering of the graph. We propose a statistical framework to measure the effectiveness of clusterings and perform empirical evaluations showing that the performance of GeoCUTS is comparable to hand-crafted DMAs with respect to both novel and existing metrics. GeoCUTS offers a general and flexible framework for conducting geo-based experiments in any part of the world.

연구 동기 및 목표

• 웹 및 모바일 서비스에서 A/B 테스트를 위한 영구적이고 유연한 지리적 단위의 부족을 해결하기 위해.
• 인구 밀도가 아닌 실제 모바일 이동 패턴을 기반으로 클러스터링하여 실험 그룹 간 사용자 이동을 최소화하기 위해.
• 사용자 추적 또는 쿠키에 의존하지 않는 일반 목적의 확장 가능한 지리 기반 실험 프레임워크를 구축하기 위해.
• 클러스터 균형과 클러스터 간 이동을 반영하는 통계적 지표를 활용하여 클러스터 품질을 측정하기 위해.
• 자동으로 생성된 클러스터가 기존 및 새로운 지표에서 수작업으로 구성한 DMAs의 성능을 재현할 수 있음을 입증하기 위해.

제안 방법

• 노드가 지리적 지역을, 엣지가 그 사이의 사용자 이동을 나타내는 익명화된 모바일 사용자 트래픽에서 그래프를 구축하기 위해.
• 클러스터 간 엣지 무게가 최소가 되도록 지리적으로 일관된 클러스터로 이동 그래프를 분할하기 위해 그래프 클러스터링 알고리즘을 적용하기 위해.
• 클러스터당 사용자 수나 지역 수가 균형 잡히도록 하여 크기 변동성을 최소화함으로써 클러스터 균형을 최적화하기 위해.
• 클러스터 간 이동과 클러스터 크기 균형을 기반으로 한 통계적 프레임워크를 활용하여 클러스터 품질을 측정하기 위해.
• 확장성과 개인정보 보호를 확보하기 위해 사용자 트래픽의 무작위 샘플링을 활용하기 위해.
• 기존 기준과 새로운 지표를 모두 활용하여 클러스터 품질을 검증하며, 미국 DMAs와의 비교를 포함하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 클러스터링 알고리즘이 실험 그룹 간 사용자 이동을 최소화하는 지리적 단위를 생성할 수 있는가?
• RQ2 자동으로 생성된 클러스터의 성능이 이동 감소 및 균형 측면에서 수작업으로 구성한 DMAs와 비교하여 어떻게 되는가?
• RQ3 데이터 기반의 전 세계 적용 가능한 클러스터링 방법이, 지역별로 설계된 인구 밀도 기반의 시스템인 DMAs만큼의 효과를 달성할 수 있는가?
• RQ4 지리적 클러스터 품질을 가장 잘 반영하는 통계적 지표는 무엇인가?
• RQ5 개인 사용자를 추적하지 않고도 익명화된 트래픽 데이터만으로도 동등한 실험 유효성을 확보할 수 있는가?

주요 결과

• GeoCUTS는 수작업으로 구성한 미국 DMAs와 유사한 수준의 클러스터 간 이동을 보이며, 그룹 간 강한 고립성을 나타냅니다.
• 알고리즘은 클러스터 크기를 균형 잡혀 최소한의 변동성을 보이며, 실험 그룹의 통계적 신뢰성을 확보합니다.
• GeoCUTS는 이동 감소 및 클러스터 균형 지표 모두에서 기준 클러스터링 방법보다 뛰어난 성능을 보입니다.
• 프레임워크는 미국 외의 지역에서도 효과적인 지리 기반 실험을 가능하게 하여, DMAs의 지리적 및 구조적 한계를 극복합니다.
• 실증적 평가를 통해 GeoCUTS의 클러스터 품질이 새로운 지표와 기존 지표 모두에서 DMAs와 동등하거나 이를 초월함을 확인했습니다.
• 익명화된 트래픽 데이터의 사용은 사용자 식별자나 추적에 의존하지 않고도 확장 가능하고 개인정보 보호에 유리한 클러스터 생성을 가능하게 합니다.