[논문 리뷰] Priming bias versus post-treatment bias in experimental designs

Matthew Blackwell, Jacob Brown외 3명|arXiv (Cornell University)|2023. 06. 02.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 설문 실험에서 사전 측정에 의한 프라밍 편향(priming bias)과 치료 영향을 받는 중재변수를 조건화함으로써 발생하는 사후 편향(post-treatment bias) 사이의 상충 관계를 다룬다. 연구는 비모수적 경계와 민감도 분석을 제안하여 다양한 측정 시점 설계 하에서 상호작용 추정치의 탄력성을 평가하며, 실증 적용에서조차 작은 사후 편향이 신뢰구간을 심각하게 넓힐 수 있음을 보여준다.

ABSTRACT

Conditioning on variables affected by treatment can induce post-treatment bias when estimating causal effects. Although this suggests that researchers should measure potential moderators before administering the treatment in an experiment, doing so may also bias causal effect estimation if the covariate measurement primes respondents to react differently to the treatment. This paper formally analyzes this trade-off between post-treatment and priming biases in three experimental designs that vary when moderators are measured: pre-treatment, post-treatment, or a randomized choice between the two. We derive nonparametric bounds for interactions between the treatment and the moderator under each design and show how to use substantive assumptions to narrow these bounds. These bounds allow researchers to assess the sensitivity of their empirical findings to priming and post-treatment bias. We then apply the proposed methodology to a survey experiment on electoral messaging.

연구 동기 및 목표

• 실험 설계에서 사전 중재변수 측정에 기인한 프라밍 편향과 치료 영향을 받는 중재변수를 조건화함으로써 발생하는 사후 편향 사이의 상충 관계를 공식적으로 분석하는 것.
• 중재변수 측정 시점이 사전, 사후, 랜덤화된 경우의 세 설계에서 치료-중재변수 상호작용에 대한 비모수적 경계를 유도하는 것.
• 사용자 정의 가정—사후 효과의 단조성과 통제 조건 하에서 중재변수의 안정성—이 이러한 경계를 좁히고 추론을 향상시키는 데 어떻게 기여하는지 보여주는 것.
• 사후 측정 편향에 영향을 받는 응답자 비율을 변화시켜 민감도 분석 절차를 개발하여 실증 결과의 신뢰성 평가를 가능하게 하는 것.
• 케냐에서의 토지 기반 정치적 호소에 관한 설문 실험에 이 프레임워크를 적용하여, 유의미한 상호작용 효과 추정치의 탄력성을 평가하는 것.

제안 방법

• 사전 측정, 사후 측정, 중재변수 측정 시점이 랜덤화된 설계에서 치료-중재변수 상호작용에 대한 비모수적 경계를 유도한다.
• 두 가지 사용자 정의 가정을 적용: (1) 사후 효과의 단조성(중재변수 값은 치료 후 한 방향으로만 이동 가능), (2) 통제 조건 하에서 중재변수의 안정성(측정 시점이 통제 조건의 값에 영향을 주지 않음).
• 최대 비율 γ(사후 측정에 의해 중재변수 값이 변화하는 응답자 비율)를 변화시켜 경계가 어떻게 변하는지 평가하는 민감도 분석을 제안한다.
• 사전 및 사후 중재변수 분포(토지 불안정성)를 이용해 γ의 하한을 설정하고, 이를 민감도 분석의 기초로 사용한다.
• 실제 케냐의 토지 기반 호소 설문 실험에 경계와 민감도 분석을 적용하며, 경계 주변 95% 신뢰구간을 이용해 추론한다.
• 랜덤화된 시점 설계 하에서 경계를 추정하기 위해 랜덤화 기반 접근법을 사용하여 다양한 설계 간 비교를 가능하게 한다.

Figure 1: Estimates of treatment-moderator interaction using pre-test, post-test, and combined data.

실험 결과

연구 질문

• RQ1 사전 측정, 사후 측정, 랜덤화된 중재변수 측정 설계 간 비모수적 경계가 치료-중재변수 상호작용에 대해 어떻게 다를까?
• RQ2 사용자 정의 가정—사후 효과의 단조성과 통제 조건 하에서 중재변수의 안정성—이 상호작용 효과에 대한 비모수적 경계를 얼마나 좁힐 수 있는가?
• RQ3 γ(사후 측정에 의해 중재변수 값이 변화하는 응답자 비율)로 측정된 타당한 수준의 사후 편향에 대해 경계는 얼마나 민감한가?
• RQ4 중재변수 측정 시점이 치료 이전일 경우 프라밍 편향이 인과 효과 추정치에 어떤 영향을 미치며, 이는 어떻게 민감도 분석을 통해 평가할 수 있는가?
• RQ5 연구자들은 사후 편향 또는 프라밍 편향이 존재할 경우 민감도 분석을 어떻게 활용하여 상호작용 효과 추정치의 신뢰성 평가를 수행할 수 있는가?

주요 결과

• 토지 기반 호소와 토지 불안정성 간 상호작용에 대한 비모수적 경계는 사후 편향에 매우 민감하며, γ ≤ 0.07일 경우 하한 경계가 0을 넘어서게 된다.
• 가능한 최소 γ(0.02)일지라도, 경계 주변 95% 신뢰구간은 0을 포함하여, 타당한 가정 하에서 추정된 상호작용 효과는 통계적으로 유의미하지 않음을 시사한다.
• γ가 최소값(0.02)일 경우 경계는 [0.38, 0.64]이며, 갈등에 영향을 받는 타당한 부분집단 기반으로 γ가 0.12로 증가하면 경계는 [-1.02, 1.14]로 확장되어 폭이 8배 증가한다.
• 민감도 분석 결과 경계는 γ = 0.5를 초과하면 안정화되지만, 가장 중요한 변화는 낮은 γ 값에서 발생함을 보여주며, 편향 크기에 대한 타당한 가정의 중요성을 강조한다.
• 사후 측정 설계 하에서의 경계는 나이브한 OLS 추정치보다 훨씬 넓으며, 이는 양의 상호작용 효과를 보여주며 통계적으로 유의미한 수준(p ≈ 0.05)에 가깝다.
• 사용자 정의 지식에 따르면, 약 12%의 응답자(기존의 민족 갈등 노출과 중간 수준의 초기 토지 불안정성 보유자)만이 사후 측정에 의해 영향을 받을 가능성이 있으나, 이 작은 집단조차도 추론에 상당한 불확실성을 초래한다.

Figure 2: Comparing non-parametric bounds under different assumptions