[논문 리뷰] Using Ego-Clusters to Measure Network Effects at LinkedIn

Guillaume Saint-Jacques, Maneesh Varshney외 2명|arXiv (Cornell University)|2019. 03. 20.

Advanced Causal Inference Techniques참고 문헌 15인용 수 12

한 줄 요약

이 논문은 LinkedIn과 같은 소셜 플랫폼에서 연결성에 의해 영향을 받는 사용자 행동을 측정하기 위해 확장 가능하고 저비용인 방법으로 '에고-클러스터 랜덤라이제이션'을 제안한다. 개인(에고)과 그 직접 연결망(앨터)을 클러스터로 간주함으로써, 복잡한 모델링이나 플랫폼 변경 없이도 통계적 검정력과 대표성을 유지하면서도, 동료 공유로 인한 참여도 증가와 같은 간접적 영향을 성공적으로 탐지할 수 있다.

ABSTRACT

A network effect is said to take place when a new feature not only impacts the people who receive it, but also other users of the platform, like their connections or the people who follow them. This very common phenomenon violates the fundamental assumption underpinning nearly all enterprise experimentation systems, the stable unit treatment value assumption (SUTVA). When this assumption is broken, a typical experimentation platform, which relies on Bernoulli randomization for assignment and two-sample t-test for assessment of significance, will not only fail to account for the network effect, but potentially give highly biased results. This paper outlines a simple and scalable solution to measuring network effects, using ego-network randomization, where a cluster is comprised of an "ego" (a focal individual), and her "alters" (the individuals she is immediately connected to). Our approach aims at maintaining representativity of clusters, avoiding strong modeling assumption, and significantly increasing power compared to traditional cluster-based randomization. In particular, it does not require product-specific experiment design, or high levels of investment from engineering teams, and does not require any changes to experimentation and analysis platforms, as it only requires assigning treatment an individual level. Each user either has the feature or does not, and no complex manipulation of interactions between users is needed. It focuses on measuring the one-out network effect (i.e the effect of my immediate connection's treatment on me), and gives reasonable estimates at a very low setup cost, allowing us to run such experiments dozens of times a year.

연구 동기 및 목표

• 기업 실험에서 네트워크 효과로 인한 SUTVA 위반 문제를 해결하기 위해.
• 제품에 특화된 설계나 엔지니어링 오버헤드 없이도, 한 명의 연결(에고)에 대한 영향을 측정하는 '한계 네트워크 효과'를 저비용으로 확장 가능하게 개발하기 위해.
• 강한 모델링 가정을 피하면서도 통계적 검정력과 대표성을 유지하기 위해.
• 기존 플랫폼에 최소한의 영향을 주면서 연간 수십 번의 네트워크 효과 실험을 가능하게 하기 위해.

제안 방법

• 에고-클러스터는 초점이 되는 사용자(에고)와 그가 직접 연결된 네트워크 구성원(앨터)으로 구성되며, 랜덤라이제이션에 적합한 자연스러운 클러스터를 형성한다.
• 치료는 개인 수준에서 할당되며, 플랫폼의 기존 랜덤라이제이션 또는 분석 파이프라인에 변화가 없다.
• 사용자 손실률(예: 20%)을 제한하여 외부 연결의 간섭을 최소화함으로써 높은 클러스터 격리도를 확보한다.
• 통계적 유의성은 결과 지표에 대해 표준 두 집단 t-검정을 사용하며, 잡음 결과를 걸러내기 위해 A/A 테스트를 활용한다.
• 이 방법은 '한계 외부 효과'를 측정하는 데 집중한다 — 즉, 에고의 앨터가 치료를 받을 경우 에고의 행동이 어떻게 영향을 받는가.
• 클러스터 수준의 랜덤라이제이션을 통해 복잡한 모델링을 피하면서도 전체 인구의 대표성을 유지한다.

실험 결과

연구 질문

• RQ1 대규모 소셜 플랫폼에서 SUTVA 위반을 피하거나 시스템 변경 없이 네트워크 효과를 어떻게 측정할 수 있는가?
• RQ2 에고-클러스터 랜덤라이제이션은 사용자의 연결을 통해 기능의 의미 있는 간접적 영향을 탐지할 수 있는가?
• RQ3 소셜 네트워크에서 참여도를 최적화할 때 직접 효과(주 효과)와 간접 효과(동료 효과) 사이의 상충 관계는 어떠한가?
• RQ4 직접 효과가 미미한 경우조차도 미세한 콘텐츠 구성 변화가 측정 가능한 네트워크 효과를 유도할 수 있는가?
• RQ5 유명한 사용자로부터의 피드백을 활동성이 낮은 사용자에게 재분배하면 네트워크 효과를 통해 전체 플랫폼의 참여도가 증가할 수 있는가?

주요 결과

• 에고의 앨터가 콘텐츠 추천 알고리즘으로 치료되어 공유가 증가했을 때, 직접 참여도가 5% 감소했음에도 불구하고 에고의 참여도는 3.1% 증가(유의수준 p=0.03)함을 성공적으로 탐지했다.
• 앨터의 콘텐츠 구성이 공유량을 유지하도록 조정된 경우, 에고의 바이럴 행동이 7% 증가(유의수준 p=0.1)했으며, 이는 직접 지표가 그대로일 때조차도 간접 네트워크 효과가 존재함을 시사한다.
• 유명한 사용자로부터의 피드백을 활동성이 낮은 사용자에게 재분배한 결과, 에고의 콘텐츠 기여는 0.3% 증가(p=0.09), 좋아요 수는 1% 증가(p=0.09)했으며, 이는 피드백 재분배가 긍정적인 네트워크 효과를 유도함을 시사한다.
• 20%의 손실률 조건에서도 통계적 검정력이 유지되었으며, 남은 트래픽에서 평균 참여도와 연결도가 각각 15–30% 감소했지만, 결론은 여전히 강력했다.
• 이 방법은 기존 실험 플랫폼에 변화 없이도 연간 수십 번의 네트워크 효과 실험을 가능하게 하였으며, 엔지니어링 비용도 최소화했다.
• A/A 테스트를 통해 결과의 신뢰성이 확인되었으며, 유의미한 발견는 잡음 결과를 걸러내는 데 성공했다.