[논문 리뷰] Estimating Network Effects Using Naturally Occurring Peer Notification Queue Counterfactuals

Craig Tutterow, Guillaume Saint-Jacques|arXiv (Cornell University)|2019. 02. 19.

Advanced Causal Inference TechniquesMathematics참고 문헌 21인용 수 20

한 줄 요약

이 논문은 LinkedIn과 같은 온라인 플랫폼에서 자연스럽게 발생하는 피어 알림 대기열 순서를 이용해 실험적 간섭 없이 네트워크 효과를 추정하는 방법을 제안한다. 확장 가능한 시스템에서 메시지의 무작위성과 유사한 순서를 활용함으로써 저자들은 두 가지 자연 실험을 식별하여 피어 영향력이 사용자 참여도에 미치는 영향을 입증하였으며, 기존의 고정효과 모델이 이러한 효과를 최대 2.7배 과대평가할 수 있음을 보여준다.

ABSTRACT

Randomized experiments, or A/B tests are used to estimate the causal impact of a feature on the behavior of users by creating two parallel universes in which members are simultaneously assigned to treatment and control. However, in social network settings, members interact, such that the impact of a feature is not always contained within the treatment group. Researchers have developed a number of experimental designs to estimate network effects in social settings. Alternatively, naturally occurring exogenous variation, or 'natural experiments,' allow researchers to recover causal estimates of peer effects from observational data in the absence of experimental manipulation. Natural experiments trade off the engineering costs and some of the ethical concerns associated with network randomization with the search costs of finding situations with natural exogenous variation. To mitigate the search costs associated with discovering natural counterfactuals, we identify a common engineering requirement used to scale massive online systems, in which natural exogenous variation is likely to exist: notification queueing. We identify two natural experiments on the LinkedIn platform based on the order of notification queues to estimate the causal impact of a received message on the engagement of a recipient. We show that receiving a message from another member significantly increases a member's engagement, but that some popular observational specifications, such as fixed-effects estimators, overestimate this effect by as much as 2.7x. We then apply the estimated network effect coefficients to a large body of past experiments to quantify the extent to which it changes our interpretation of experimental results. The study points to the benefits of using messaging queues to discover naturally occurring counterfactuals for the estimation of causal effects without experimenter intervention.

연구 동기 및 목표

• 랜덤화된 A/B 테스트에 의존하지 않고 소셜 플랫폼에서 피어 네트워크 효과를 추정하고자 한다.
• 네트워크 랜덤화의 비용과 윤리적 우려를 줄이기 위해 자연적으로 발생하는 외부 변수를 활용하고자 한다.
• 특히 알림 대기열 순서와 같은 스케일링 가능한 엔지니어링 아티팩트를 타당한 반사적 대안의 근원으로 식별하고자 한다.
• 기존 관찰 모델, 예를 들어 고정효과 추정기에서 네트워크 효과 추정에 의해 유도되는 편향의 크기를 정량화하고자 한다.
• 알림 대기열이 대규모 시스템에서 자연 실험을 발견하는 데 실용적으로 유용한 메커니즘으로 기능할 수 있음을 보여주고자 한다.

제안 방법

• 대규모 온라인 시스템 내 알림 대기열 순서의 내재된 무작위성을 외부 변수의 근원으로 활용한다.
• 메시지 전달 순서가 처리군과 대조군에 대한 준수작업을 생성하는 LinkedIn에서 두 가지 자연 실험을 식별한다.
• 동료의 메시지 수신 시점과의 상대적 시간을 원인 노출의 대체 지표로 사용함으로써 인과적 추론을 가능하게 한다.
• 미관측 이질성을 통제하면서도 피어 효과 계수를 추정하기 위해 구조적 경제모형을 적용한다.
• 자연 실험 기반 추정 결과와 기존 고정효과 모델의 결과를 비교하여 편향을 평가한다.
• 과거 실험 데이터에 추정된 네트워크 효과를 적용하여 이전 결과를 재평가함으로써 결과를 검증한다.

실험 결과

연구 질문

• RQ1 알림 대기열 순서의 자연스러운 변동성이 피어 효과를 추정하기 위한 타당한 외부 변수 근원이 될 수 있는가?
• RQ2 피어 영향력이 존재하는 상황에서 기존의 관찰 모델, 예를 들어 고정효과 추정기의 성능은 어떠한가?
• RQ3 기존의 모델링 접근 방식이 네트워크 효과 추정에 의해 초래하는 편향의 크기는 얼마인가?
• RQ4 네트워크 효과는 소셜 플랫폼에서의 이전 A/B 테스트 결과 해석에 얼마나 큰 영향을 미치는가?
• RQ5 알림 대기열과 같은 엔지니어링 아티팩트를 체계적으로 활용하여 대규모에서 자연 실험을 발견할 수 있는가?

주요 결과

• 피어로부터 메시지를 수신하는 것은 사용자가 플랫폼에서 이후에 더 높은 참여도를 보이게 한다.
• 고정효과 추정기에서는 자연 실험 반사적 대안에서 유도된 추정치 대비 피어 메시지의 인과적 영향을 최대 2.7배 과대평가한다.
• 알림 대기열 순서는 실험적 간섭 없이도 타당한 인과적 추론을 가능하게 하는 신뢰할 수 있는 외부 변수 근원을 제공한다.
• 본 연구는 기존의 관찰 모델을 사용할 경우 사회 네트워크 환경에서 네트워크 효과가 체계적으로 과소평가되거나 왜곡됨을 입증한다.
• 과거 실험에 추정된 네트워크 효과 계수를 적용하면 이전 A/B 테스트 결과의 해석이 상당히 편향되어 있음을 드러낸다.
• 이 방법은 대규모 온라인 시스템에서 피어 영향력을 추정하기 위해 랜덤화 실험의 대안으로서 확장 가능하고 저비용임을 보여준다.