[논문 리뷰] Unbiased Estimation and Sensitivity Analysis for Network-Specific Spillover Effects: Application to An Online Network Experiment

Naoki Egami|arXiv (Cornell University)|2017. 08. 28.

Social Capital and Networks인용 수 7

한 줄 요약

이 논문은 표준 추정기들이 편향을 초래하는 관찰되지 않은 오프라인 네트워크를 고려하여 온라인 실험에서 네트워크별 확산 효과에 대한 편향 보정 추정 및 민감도 분석 방법을 개발한다. 이는 온라인 네트워크 확산 효과에 대한 정확한 편향 표현을 유도하고, 비모수적 및 모수적 민감도 분석을 적용하여 실제 정치적 동원 실험에서 테이터의 네트워크별 확산 추정치가 관찰되지 않은 대면 네트워크에 매우 민감하다는 것을 보여준다.

ABSTRACT

Online network experiments have become widely-used methods to estimate spillover effects and study online social influence. In such experiments, the spillover effects often arise not only through an online network of interest but also through a face-to-face network. Social scientists are therefore often interested in measuring the importance of online human interactions by estimating the spillover effects specific to the online network, separately from spillover effects attributable to the offline network. However, the unbiased estimation of these network-specific spillover effects requires an often-violated assumption that researchers observe all relevant networks; they cannot observe the offline network in many applications. In this paper, we derive an exact expression of bias due to unobserved networks. Unlike the conventional omitted variable bias, this bias for the network-specific spillover effect remains even when treatment assignment is randomized and when unobserved networks and the network of interest are independently generated. By incorporating this bias into the estimation, we also develop parametric and nonparametric sensitivity analysis methods, with which researchers can examine the robustness of empirical findings to the possible existence of unmeasured networks. We analyze a political mobilization experiment on the Twitter network and find that an estimate of the Twitter-specific spillover effect is sensitive to assumptions about an unobserved face-to-face network.

연구 동기 및 목표

• 관찰되지 않는 오프라인 네트워크가 결과를 혼동할 때 온라인 실험에서 네트워크별 확산 효과를 추정하는 데 도전하는 것.
• 관찰되지 않는 네트워크가 온라인 네트워크 확산 효과 추정에 도입하는 편향을 식별하고 정량화하는 것.
• 관측되지 않은 네트워크 구조에 대한 민감도 분석 방법을 개발하여 연구자들이 연구 결과의 탄력성을 평가할 수 있도록 돕는 것.
• 연구자들이 온라인 사회적 영향력이 오프라인 사회적 영향력과 독립적으로 얼마나 중요한지를 평가할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 관찰되지 않는 네트워크로 인한 네트워크별 확산 효과 추정의 편향에 대한 정확한 수학적 표현을 유도하며, 전통적인 생략된 변수 편향과는 다름.
• 유도된 편향 표현을 통합한 모수적 및 비모수적 민감도 분석 방법을 제안하여 관찰되지 않는 네트워크에 대한 다양한 가정 하에서 결과의 탄력성을 테스트하는 것.
• 잠재적 결과 프레임워크를 사용하여 관측된 온라인 네트워크와 관찰되지 않은 오프라인 네트워크를 포함한 다중 네트워크에서의 확산 효과를 모델링하는 것.
• 랜덤화된 치료 배정을 가진 실제 테이터 기반 정치적 동원 실험에 편향 보정 및 민감도 분석을 적용하는 것.
• 관찰되지 않는 네트워크와 관측된 네트워크가 확률적으로 독립임을 형식화하며, 랜덤화 조건 하에서도 편향이 지속됨을 보여주는 것.
• 편향 표현을 추정 절차에 통합하여 연구자들이 결과가 가능한 관찰되지 않는 네트워크 구조에 얼마나 민감한지 평가할 수 있도록 돕는 것.

실험 결과

연구 질문

• RQ1 랜덤화된 온라인 실험에서 관찰되지 않는 오프라인 네트워크가 온라인 네트워크별 확산 효과 추정에 어떤 방식으로 편향을 초래하는가?
• RQ2 관찰되지 않는 대면 네트워크에 대한 합리적인 가정에 비추어 볼 때 온라인 확산 효과 추정치는 어느 정도 탄력적인가?
• RQ3 관찰되지 않는 네트워크가 네트워크별 확산 효과 추정치에 미치는 영향을 정량화할 수 있는 민감도 분석 방법을 개발할 수 있는가?
• RQ4 치료 배정이 랜덤화되고 네트워크가 독립적으로 생성될 때 관찰되지 않는 네트워크가 초래하는 편향의 크기는 얼마인가?
• RQ5 제안된 편향 보정 및 민감도 분석 방법은 실제 온라인 사회 실험에서 어떻게 성능을 발휘하는가?

주요 결과

• 치료 배정이 랜덤화되고 네트워크가 독립적으로 생성되더라도 관찰되지 않는 오프라인 네트워크로 인한 온라인 네트워크별 확산 효과 추정의 편향은 여전히 지속된다.
• 유도된 편향 표현은 전통적인 생략된 변수 편향과 다름이 있으며, 표준 실험 조건 하에서도 여전히 비영일 수 있음.
• 민감도 분석은 정치적 동원 실험에서 테이터의 네트워크별 확산 효과 추정치가 관찰되지 않는 대면 네트워크에 대한 가정에 매우 민감하다는 것을 드러낸다.
• 모수적 및 비모수적 민감도 분석 방법은 관측되지 않는 네트워크 구조에 대한 결과의 탄력성을 성공적으로 정량화한다.
• 테이터 실험의 실증 결과는 관찰되지 않는 오프라인 상호작용에 대한 합리적인 가정 하에서 온라인 사회적 영향력에 대한 결론이 뒤집힐 수 있음을 보여준다.
• 본 연구는 온라인 실험에서 네트워크별 확산 효과를 해석할 때 관찰되지 않는 네트워크를 고려하는 것이 얼마나 중요한지 강조한다.