[논문 리뷰] Cluster Randomized Designs for One-Sided Bipartite Experiments

Jennifer Brennan, Vahab Mirrokni외 1명|arXiv (Cornell University)|2022. 10. 28.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 한쪽 방향 이분할 실험에서 간섭 단위(예: 마켓플레이스의 판매자)를 통해 발생하는 간섭을 다루는 새로운 군집 랜덤화 설계를 제안한다. 선형 잠재 결과 모델에서 유계 간섭 조건 하에서 차분 평균 추정기의 편향을 최소화하는 균형 잠금 클러스터링 목적함수를 도입하며, 최소최대 최적성과 다양한 그래프 및 모델에서의 강건성을 입증한다.

ABSTRACT

The conclusions of randomized controlled trials may be biased when the outcome of one unit depends on the treatment status of other units, a problem known as interference. In this work, we study interference in the setting of one-sided bipartite experiments in which the experimental units - where treatments are randomized and outcomes are measured - do not interact directly. Instead, their interactions are mediated through their connections to interference units on the other side of the graph. Examples of this type of interference are common in marketplaces and two-sided platforms. The cluster-randomized design is a popular method to mitigate interference when the graph is known, but it has not been well-studied in the one-sided bipartite experiment setting. In this work, we formalize a natural model for interference in one-sided bipartite experiments using the exposure mapping framework. We first exhibit settings under which existing cluster-randomized designs fail to properly mitigate interference under this model. We then show that minimizing the bias of the difference-in-means estimator under our model results in a balanced partitioning clustering objective with a natural interpretation. We further prove that our design is minimax optimal over the class of linear potential outcomes models with bounded interference. We conclude by providing theoretical and experimental evidence of the robustness of our design to a variety of interference graphs and potential outcomes models.

연구 동기 및 목표

• 실험 단위가 간섭 단위를 통해 치료 노출에 영향을 받는 한쪽 방향 이분할 실험에서 간섭을 다루기 위해.
• 노출 맵핑 프레임워크를 사용하여 이 설정에서의 간섭을 정형화하고 기존 군집 랜덤화 설계의 한계를 규명하기 위해.
• 선형 잠재 결과 모델에서 유계 간섭 조건 하에서 차분 평균 추정기의 편향을 최소화하는 군집화 목적함수를 개발하기 위해.
• 선형 잠재 결과 모델에서 유계 간섭 조건 하에서 제안된 설계의 최소최대 최적성을 증명하기 위해.
• 다양한 간섭 그래프 및 잠재 결과 모델에 대한 이론적·실증적 검증을 통해 강건성을 입증하기 위해.

제안 방법

• 노출 맵핑 프레임워크를 사용하여 한쪽 방향 이분할 실험에서의 간섭을 정형화하고, 간섭 단위가 실험 단위 간 치료 유출을 어떻게 매개하는지 모델링하기 위해.
• 선형 잠재 결과 모델 하에서 차분 평균 추정기의 편향을 최소화하기 위해 유도된 균형 잠금 실험 단위 분할 기반의 새로운 군집화 목적함수를 제안하기 위해.
• 간섭 단위의 구조와 그들의 매개 역할을 고려한 새로운 군집화 목적함수를 정의하기 위해, 공유 간섭 단위를 기반으로 한 간선 가중치를 갖는 그래프 기반 공식화를 사용하기 위해.
• 실험 단위의 노드 가중치를 1로 설정하고 간선 가중치를 공유 간섭 단위 연결에 기반하여, 균형 잠금 분할 알고리즘을 통해 군집화를 구현하기 위해.
• EXPOSURE-DESIGN 기준선을 위해 탐욕적 국소 검색 알고리즘을 사용하고, 정규화를 통해 군집 균형을 향상시키기 위해 하이퍼파rameter λ ∈ {0, 0.001, 0.01, 0.1, 1}에 대해 튜닝하기 위해.
• 다양한 합성 및 실세계 그래프 설정에서의 성능 평가를 위해 차분 평균 추정기를 적용하고, 상대적 RMSE 및 표준편차를 통해 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 기존의 군집 랜덤화 설계는 한쪽 방향 이분할 실험에 직접 적용될 수 있는가? 이 경우 편향이 발생하지는 않는가?
• RQ2 이 설정에서 선형 잠재 결과 모델 하에서 유계 간섭 조건 하에서 차분 평균 추정기의 편향을 최소화하는 군집화 목적함수는 무엇인가?
• RQ3 제안된 군집화 설계는 선형 잠재 결과 모델 하에서 유계 간섭 조건 하에서 최소최대 최적인가?
• RQ4 제안된 설계는 간섭 그래프의 구조 변화 및 잠재 결과 모델 파라미터 변화에 대해 얼마나 강건한가?
• RQ5 추정 정확도 및 분산 측면에서 표준 단위 수준의 랜덤화 및 기타 군집화 기준선보다 제안된 설계가 우수한가?

주요 결과

• 제안된 균형 잠금 분할 군집화 목적함수는 선형 잠재 결과 모델 하에서 유계 간섭 조건 하에서 차분 평균 추정기의 편향을 최소화한다.
• 제안된 설계는 선형 잠재 결과 모델 하에서 유계 간섭 조건 하에서 최소최대 최적임을 증명하였으며, 악성 간섭 구성 조건에 대해서도 강건함을 보장한다.
• 실험 결과, 진정한 군집 구조 하에서 상대적 RMSE가 0.31(±0.03)을 기록하여 EXPOSURE-DESIGN(0.37±0.04) 및 단위 수준 랜덤화(0.39±0.05)보다 뚜렷이 뛰어난 성능을 보였다.
• 이웃 폭 Δ이 증가함에 따라 제안된 설계는 낮은 상대적 RMSE(Δ=0.3에서 0.458±0.005)와 낮은 표준편차(0.025±0.003)를 유지하였으며, 직접 클러스터링 및 단위 수준 랜덤화를 능가하였다.
• 비선형성에 대해서도 강건함을 보였으며, Δ=0.5에서 상대적 RMSE가 0.001±0.0으로 떨어져 순수 노출 조건 하에서 최소한의 편향을 나타내었다.
• 10개의 군집과 10% 이완 허용 범위를 갖는 균형 잠금 분할 알고리즘을 사용한 구현은 다양한 그래프 및 모델 구성에서 일관된 성능을 보였다.