[논문 리뷰] Graph cluster randomization: network exposure to multiple universes

Johan Ugander, Brian Karrer외 2명|arXiv (Cornell University)|2013. 05. 30.

Advanced Causal Inference Techniques참고 문헌 14인용 수 38

한 줄 요약

이 논문은 사회적 간섭이 있는 온라인 실험에서 평균 치료 효과를 편향 없이 추정할 수 있도록 그래프 클러스터 랜덤화를 제안한다. 네트워크 노출 확률에서 유도된 역확률 가중치를 사용한 Horvitz-Thompson 추정을 통해 이루어지며, 핵심 기여는 제한된 성장 조건을 만족하는 그래프일 경우 기존 방법보다 지수적으로 작은 분산을 달성함으로써 네트워크 기반 인구에서 더 정밀한 인과 추론을 가능하게 한다.

ABSTRACT

A/B testing is a standard approach for evaluating the effect of online experiments; the goal is to estimate the `average treatment effect' of a new feature or condition by exposing a sample of the overall population to it. A drawback with A/B testing is that it is poorly suited for experiments involving social interference, when the treatment of individuals spills over to neighboring individuals along an underlying social network. In this work, we propose a novel methodology using graph clustering to analyze average treatment effects under social interference. To begin, we characterize graph-theoretic conditions under which individuals can be considered to be `network exposed' to an experiment. We then show how graph cluster randomization admits an efficient exact algorithm to compute the probabilities for each vertex being network exposed under several of these exposure conditions. Using these probabilities as inverse weights, a Horvitz-Thompson estimator can then provide an effect estimate that is unbiased, provided that the exposure model has been properly specified. Given an estimator that is unbiased, we focus on minimizing the variance. First, we develop simple sufficient conditions for the variance of the estimator to be asymptotically small in n, the size of the graph. However, for general randomization schemes, this variance can be lower bounded by an exponential function of the degrees of a graph. In contrast, we show that if a graph satisfies a restricted-growth condition on the growth rate of neighborhoods, then there exists a natural clustering algorithm, based on vertex neighborhoods, for which the variance of the estimator can be upper bounded by a linear function of the degrees. Thus we show that proper cluster randomization can lead to exponentially lower estimator variance when experimentally measuring average treatment effects under interference.

연구 동기 및 목표

• 사회적 간섭이 존재할 경우 치료 효과가 네트워크 기반 개인 간으로 확산되는 상황에서 표준 A/B 테스트의 한계를 해결하기 위해.
• 모든 사용자가 치료된 가상의 세계에서 사용자의 반응이 치료 조건을 반영할 수 있도록 하는 '네트워크 노출' 개념을 체계화하기 위해.
• 간섭 상황에서도 평균 치료 효과를 편향 없이 추정할 수 있도록 클러스터 기반의 랜덤화 방식을 개발하기 위해.
• 특히 제한된 성장 조건 하에서 그래프 구조를 활용하여 Horvitz-Thompson 추정기의 분산을 최소화하기 위해.

제안 방법

• 정점의 반응이 모든 사용자가 치료된 세계에서와 동일한지 여부를 결정하는 조건으로서 '네트워크 노출'을 정의한다.
• 그래프 클러스터링을 활용해 치료를 할당함으로써 노출 확률를 효율적인 알고리즘을 통해 정확히 계산할 수 있도록 한다.
• 역확률 가중치를 사용한 Horvitz-Thompson 추정기를 적용하여 평균 치료 효과의 편향 없는 추정을 수행한다.
• 다양한 노출 모델 하에서 추정기의 분산 한계를 유도하며, 제한된 성장 조건 하에서 분산이 정점의 차수에 선형적으로 상한이 있음을 보여준다.
• 제한된 성장 조건 하에서 분산이 정점의 차수에 대한 선형 함수로 상한이 있음을 증명함으로써 일반적인 그래프에 비해 지수적으로 감소하는 분산을 이끌어낸다.
• 이웃 기반 클러스터링(예: 2-hop 이웃 기반)을 사용하여 단위 간 의존성을 낮추고 분산 표현식 내 공분산 항목을 줄인다.

실험 결과

연구 질문

• RQ1 간섭이 존재할 경우 평균 치료 효과를 편향 없이 추정할 수 있도록 하는 공식적인 '네트워크 노출' 개념을 정의할 수 있는가?
• RQ2 간섭 상황에서 Horvitz-Thompson 추정기가 여전히 편향 없도록 보장하는 랜덤화 방식을 어떻게 설계할 수 있는가?
• RQ3 네트워크 구조에 대한 어떤 그래프 이론적 조건이 추정기 분산을 크게 감소시키는가?
• RQ4 정점의 차수에 대해 선형적으로 증가하는 분산 한계를 달성할 수 있으며, 이러한 조건은 무엇인가?
• RQ5 클러스터링 알고리즘의 선택이 간섭 존재 시 치료 효과 추정기의 분산에 어떤 영향을 미치는가?

주요 결과

• 노출 확률 기반의 역확률 가중치를 사용한 Horvitz-Thompson 추정기는 적절한 노출 모델 사양 하에서 평균 치료 효과의 편향 없는 추정을 제공한다.
• 일반적인 그래프의 경우 추정기의 분산은 정점의 차수에 대해 지수 함수로 하한이 존재하여 추정이 비효율적이다.
• 제한된 성장 조건 하에서 이웃 기반 클러스터링 알고리즘이 추정기의 분산이 정점의 차수에 대해 선형 함수로 상한이 있음을 보장한다.
• 적절한 클러스터 랜덤화를 통해 달성하는 분산 감소는 차수에 대해 지수적으로 발생하여 추정 정밀도를 크게 향상시킨다.
• 분산 표현식 내 공분산 항목은 정점 간 의존성을 유한한 거리(예: 6호프) 이내로 제한함으로써 제어되며, 이는 제한된 성장 그래프 조건 하에서 실현 가능하다.
• 이 프레임워크는 임의의 그래프에 일반적으로 적용 가능하며, 어떤 클러스터링 알고리즘을 사용해도 가능하지만, 분산 한계는 오직 제한된 성장 조건 하에서 보장된다.