[논문 리뷰] A Two-Part Machine Learning Approach to Characterizing Network Interference in A/B Testing

Yuan Yuan, Kristen M. Altenburger|arXiv (Cornell University)|2023. 08. 18.

Social Media and PoliticsSocial Sciences인용 수 3

한 줄 요약

이 논문은 인과적 네트워크 모티프를 도입하고 노출 맵핑을 자동화하는 투명한 모델을 사용하여 A/B 테스트에서 이질적인 네트워크 간섭을 탐지하고 특성화하기 위한 이중 구조의 기계학습 접근법을 제안한다. 시뮬레이션 및 100만~200만 명의 인스타그램 사용자를 대상으로 한 실제 실험에서 기존의 클러스터 랜덤화 및 이웃 노출 맵핑과 같은 전통적 방법보다 뛰어난 성능을 보였다.

ABSTRACT

The reliability of controlled experiments, commonly referred to as "A/B tests," is often compromised by network interference, where the outcomes of individual units are influenced by interactions with others. Significant challenges in this domain include the lack of accounting for complex social network structures and the difficulty in suitably characterizing network interference. To address these challenges, we propose a machine learning-based method. We introduce "causal network motifs" and utilize transparent machine learning models to characterize network interference patterns underlying an A/B test on networks. Our method's performance has been demonstrated through simulations on both a synthetic experiment and a large-scale test on Instagram. Our experiments show that our approach outperforms conventional methods such as design-based cluster randomization and conventional analysis-based neighborhood exposure mapping. Our approach provides a comprehensive and automated solution to address network interference for A/B testing practitioners. This aids in informing strategic business decisions in areas such as marketing effectiveness and product customization.

연구 동기 및 목표

• A/B 테스트에서 네트워크 간섭이 존재할 경우 안정된 단위 처리 값 가정(SUTVA)을 위반하여 인과 추론의 타당성을 해칠 수 있는 문제를 해결하기 위해.
• 기존 방법의 한계—특히 수동적이거나 고정된 노출 맵핑과 강한 파rametric 가정에 의존하는 것—을 극복하기 위해 간섭 패턴의 자동 식별을 가능하게 하기 위해.
• 대규모 디지털 플랫폼의 복잡한 네트워크 구조에서 이질적인 간섭을 특성화할 수 있는 확장성 있고 해석 가능한 프레임워크를 개발하기 위해.
• 과거 A/B 테스트의 후행 분석을 가능하게 하고 향후 실험 설계를 안내하기 위해 잠재된 간섭 메커니즘을 드러내기 위해.

제안 방법

• 기계학습 모델을 위한 특성 공학을 가능하게 하기 위해 네트워크에서 반복적으로 나타나는 간섭 패턴을 나타내는 해석 가능한 구조적 특성으로서 '인과적 네트워크 모티프'를 도입한다.
• 관측된 처리 및 결과 데이터로부터 노출 맵핑 함수를 학습하기 위해 투명하고 해석 가능한 기계학습 모델(예: 의사결정나무 또는 일반화선형모형)을 적용한다.
• 이중 단계 프레임워크를 사용한다: 첫 번째 단계에서는 네트워크 구조에서 인과적 네트워크 모티프를 추출하고, 두 번째 단계에서는 이러한 모티프를 기반으로 노출 조건을 예측하고 치료 효과를 추정하는 기계학습 모델을 훈련시킨다.
• 시뮬레이션 기반 검증을 통해 인공 네트워크(Watts-Strogatz 및 Slashdot)와 실제 실험 데이터를 사용하여 대규모 인스타그램 A/B 테스트(100만~200만 명의 사용자 포함)에서 성능을 평가한다.
• 설계 기반 클러스터 랜덤화 및 분석 기반 이웃 노출 맵핑과 같은 전통적 방법과의 성능 비교를 수행한다.
• 모델의 해석 가능성으로 인해 실무자들이 식별된 간섭 패턴을 이해하고 대응할 수 있도록 하여 제품 및 마케팅 전략적 결정 지원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 노출 맵핑에 의존하지 않고 A/B 테스트에서 이질적인 네트워크 간섭 패턴을 자동으로 식별하고 특성화할 수 있는가?
• RQ2 복잡한 간섭 상황에서 인과적 네트워크 모티프는 치료 효과 추정 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 기계학습 기반 접근법이 간섭 상황에서 전통적인 설계 기반 및 분석 기반 방법보다 전반적인 평균 치료 효과 추정에서 더 우수한 성능을 보일 수 있는가?
• RQ4 다양한 네트워크 구조 간에 간섭 패턴은 어떻게 달라지며, 이 방법은 다양한 네트워크 구조 유형으로 일반화 가능한가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실제 실험 모두에서 설계 기반 클러스터 랜덤화 및 분석 기반 이웃 노출 맵핑과 같은 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 100만~200만 명의 인스타그램 사용자를 대상으로 한 대규모 A/B 테스트에서, 네트워크 간섭으로 인한 편향을 줄이며 치료 효과 추정의 정밀도가 뛰어나게 나타났다.
• 인과적 네트워크 모티프의 사용으로 기존의 노출 맵핑 기법이 놓쳤던 비트레이서블한 간섭 패턴을 식별할 수 있었다.
• Watts-Strogatz 및 Slashdot 네트워크를 포함한 다양한 네트워크 유형에서 뛰어난 성능을 유지하여 일반화 가능성의 타당성을 입증했다.
• 투명한 기계학습 모델은 해석 가능한 노출 맵핑을 제공하여 실무자들이 간섭 패턴을 이해하고 개선 전략을 수립할 수 있도록 했다.
• 이 방법은 과거 실험의 후행 분석을 가능하게 하여 숨겨진 간섭 효과를 드러내고 향후 A/B 테스트 설계를 보다 나아지게 했다.