[論文レビュー] Priming bias versus post-treatment bias in experimental designs

Matthew Blackwell, Jacob Brown+3 more|arXiv (Cornell University)|Jun 2, 2023

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

この論文は、調査実験における事前共変量測定によるプライミングバイアスと、治療に影響を受けるモダレーターを条件付けたことによる事後バイアスのトレードオフを扱う。非パラメトリックな境界と感度分析を提案し、測定タイミングの異なる設計における相互作用推定値の頑健性を評価する。実応用において、わずかな事後バイアスで信頼区間が著しく拡大することを示している。

ABSTRACT

Conditioning on variables affected by treatment can induce post-treatment bias when estimating causal effects. Although this suggests that researchers should measure potential moderators before administering the treatment in an experiment, doing so may also bias causal effect estimation if the covariate measurement primes respondents to react differently to the treatment. This paper formally analyzes this trade-off between post-treatment and priming biases in three experimental designs that vary when moderators are measured: pre-treatment, post-treatment, or a randomized choice between the two. We derive nonparametric bounds for interactions between the treatment and the moderator under each design and show how to use substantive assumptions to narrow these bounds. These bounds allow researchers to assess the sensitivity of their empirical findings to priming and post-treatment bias. We then apply the proposed methodology to a survey experiment on electoral messaging.

研究の動機と目的

• 事前共変量の測定によるプライミングバイアスと、治療に影響を受けるモダレーターを条件付けたことによる事後バイアスのトレードオフを、実験的設計において形式的に分析すること。
• 事前、事後、およびモダレーター測定のタイミングを無作為化した3つの設計における処置×モダレーター相互作用の非パラメトリック境界を導出すること。
• 処置効果の単調性（治療後、モダレーター値が一方の方向にしか変化しないこと）と、制御群におけるモダレーターの安定性（測定タイミングが制御群の値に影響しないこと）といった実質的仮定が、これらの境界をどのように狭め、推論を改善するかを示すこと。
• 事後測定バイアスの影響を受ける被験者の最大割合γを変化させることで、境界の変化を評価する感度分析手順を開発すること。
• ケニアにおける土地に基づく政治的訴求に関する実際の調査実験に、このフレームワークを適用し、選挙支持への推定相互作用効果の頑健性を評価すること。

提案手法

• 事前、事後、および無作為化されたモダレーター測定設計における処置とモダレーターの相互作用の非パラメトリック境界を導出する。
• 2つの実質的仮定を課す：(1) 事後効果の単調性（モダレーター値は治療後に一方の方向にしか変化しない）、(2) 制御群におけるモダレーターの安定性（測定タイミングが制御群の値に影響しない）。
• 最大でγの割合の被験者について、事後測定によってモダレーター値が変化すると仮定し、γを変化させた感度分析を提案。境界がγにどのように応じて変化するかを評価する。
• 観察された事前および事後におけるモダレーター（土地の不安定さ）の分布を用いて、γの下限を設定し、これを感度分析の出発点とする。
• 非パラメトリック境界と感度分析を、ケニアにおける土地に基づく訴求に関する実際の調査実験に適用し、境界の95％信頼区間を用いて推論を行う。
• 無作為化された測定タイミング設計における境界を推定するために、ランダマイゼーションに基づくアプローチを採用し、異なる設計間での比較を可能にする。

Figure 1: Estimates of treatment-moderator interaction using pre-test, post-test, and combined data.

実験結果

リサーチクエスチョン

• RQ1 事前、事後、および無作為化されたモダレーター測定設計における処置×モダレーター相互作用の非パラメトリック境界は、どのように異なるか？
• RQ2 処置効果の単調性と制御群におけるモダレーターの安定性といった実質的仮定は、相互作用効果の非パラメトリック境界をどの程度狭めることができるか？
• RQ3 事後バイアスの妥当な水準（事後測定によってモダレーター値が変化する被験者割合γとして測定）に対して、境界はどの程度感度に依存するか？
• RQ4 モダレーターを治療前（事前）に測定した場合、プライミングバイアスが因果効果推定値に与える影響は何か。また、感度分析を用いてその影響をどのように評価できるか？
• RQ5 研究者は、事後バイアスやプライミングバイアスが存在する状況において、感度分析をどのように用いて相互作用推定値の信頼性を評価できるか？

主な発見

• 土地に基づく訴求と土地の不安定さの間の非パラメトリック境界は、事後バイアスに極めて敏感であり、γ ≤ 0.07のとき下限がゼロを下回る。
• 最小の実現可能なγ（0.02）であっても、境界の95％信頼区間はゼロを含むため、妥当な仮定のもとでは推定された相互作用効果は統計的に有意でない。
• γが最小値（0.02）のとき、境界は[0.38, 0.64]であるが、γが0.12（紛争に影響を受ける可能性のある妥当な被験者サブセットに基づく）に上昇すると、境界は[-1.02, 1.14]に広がり、幅が8倍に拡大する。
• 感度分析から、γ > 0.5を超えると境界が安定化することが示されたが、境界の変化が最も顕著に現れるのはγが小さい値のときであり、バイアスの大きさに関する妥当な仮定の重要性が浮き彫りになる。
• 事後測定設計における境界は、素朴なOLS推定値（p ≈ 0.05に近い有意水準）よりも著しく広がっており、これは推定の信頼性が著しく低下していることを示している。
• 実質的知識から、約12％の被験者（事前の民族的紛争経験と中程度の初期の土地の不安定さを有する者）が事後測定バイアスに影響を受ける可能性があるとされるが、この少数のグループですら、推論における著しい不確実性を引き起こしている。

Figure 2: Comparing non-parametric bounds under different assumptions