[論文レビュー] Varying impacts of letters of recommendation on college admissions: Approximate balancing weights for subgroup effects in observational studies

Eli Ben‐Michael, Avi Feller+1 more|arXiv (Cornell University)|Aug 10, 2020

Advanced Causal Inference Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、観察研究における異質的処置効果を推定するため、大学進学における推薦状（LOR）の影響が、グローバルおよびローカルの共変量バランスを最適化する近似バランス重みを提案する。凸最適化と階層的傾向スコアモデルを組み合わせることで、サブグループ固有のバランスを向上させ、バイアスを低減し、LORが予測進学確率が高い申請者に対して進学確率をより大きく向上させることを明らかにした。また、マイノリティとしての立場が弱い申請者（URMs）に対する影響については、混合された証拠が得られた。

ABSTRACT

In a pilot program during the 2016-17 admissions cycle, the University of California, Berkeley invited many applicants for freshman admission to submit letters of recommendation. We use this pilot as the basis for an observational study of the impact of submitting letters of recommendation on subsequent admission, with the goal of estimating how impacts vary across pre-defined subgroups. Understanding this variation is challenging in observational studies, however, because estimated impacts reflect both actual treatment effect variation and differences in covariate balance across groups. To address this, we develop balancing weights that directly optimize for ``local balance'' within subgroups while maintaining global covariate balance between treated and control units. We then show that this approach has a dual representation as a form of inverse propensity score weighting with a hierarchical propensity score model. In the UC Berkeley pilot study, our proposed approach yields excellent local and global balance, unlike more traditional weighting methods, which fail to balance covariates within subgroups. We find that the impact of letters of recommendation increases with the predicted probability of admission, with mixed evidence of differences for under-represented minority applicants.

研究の動機と目的

• 推薦状（LOR）の大学進学への影響が、特にマイノリティとしての立場が弱い者（URMs）を含むサブグループ間でどのように異なるかを推定すること。
• 観察研究における共変量の不均衡という課題に取り組み、推定された処置効果の変動が真の異質性ではなく不均衡に起因する可能性を排除すること。
• 正確なグローバルバランスと近似的なローカルバランスを両立させる重み付け手法を開発し、サブグループ効果推定におけるバイアスを低減すること。
• 有限標本において、従来の逆傾向スコア重み付けよりも、サブグループレベルのバランスを直接最適化することにより、提案手法が優れていることを示すこと。
• 重み付けとアウトカムモデリングを組み合わせてバイアス補正を実施し、因果推論における頑健性を高めること。

提案手法

• 各サブグループ内のローカル不均衡の尺度を最小化する凸最適化問題を定式化し、処置群と対照群の間で正確なグローバルバランスを強制する。
• ローカルおよびグローバルな共変量バランスを標的とする重みを導入し、サブグループ内で共変量の分布が概ね等しく、全体として正確に等しくなるように保証する。
• この手法を、サブグループ固有のパrameterがグローバルモデルに向かって部分的にプールされる階層的傾向スコアモデルとしての双対表現を確立する。
• ラグランジュ双対定式化を用いて最適化問題を導出し、双対変数からプライマル重みへのマッピングを、共変量のしきい値付き線形関数として得る。
• 重み付け推定量とアウトカムモデルを組み合わせてバイアス補正を実施し、マッチングにおける二重ロバスト推定に類似した手法を採用する。
• 未測定の交絡要因に対する感度分析を実施し、結果が覆るのに必要な未観測共変量の不均衡を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 推薦状の提出が大学進学確率に与える影響は、特にマイノリティとしての立場が弱い者において、サブグループ間で異なるか？
• RQ2 申請者の予測進学確率の関数として、LORの効果はどのように変化するか？
• RQ3 ローカルおよびグローバルな共変量バランスを保証する重み付け手法は、標準的な逆傾向スコア重み付けと比較して、サブグループ固有の処置効果の推定を改善できるか？
• RQ4 未測定の交絡要因は、LORの推定された影響にどの程度影響を及ぼし、その結果はどの程度のバイアスに頑健か？
• RQ5 提案されたバランス重み手法は、有限標本において、既存の手法と比較して、より良い共変量バランスと低い推定誤差を達成できるか？

主な発見

• 提案されたバランス重み手法は、優れたローカルおよびグローバルな共変量バランスを達成し、従来の逆傾向スコア重み付け（サブグループ内での共変量の不均衡を解消できない）を上回る。
• 推薦状が進学確率に与える影響は、予測進学確率が高くなるほど増大しており、LORがすでに進学の可能性が高い申請者にとってより有益であることを示している。
• マイノリティとしての立場が弱い申請者に対するLORの効果が異なるかどうかについては、明確で一貫したサブグループ固有の差異は検出されず、混合された証拠が得られた。
• この手法の階層的傾向スコアモデルとしての双対表現は、理論的根拠を確認し、既存の因果推論フレームワークと結びつけるのを確認した。
• 感度分析の結果、LORの正の効果を消去するには、未観測共変量において標準化された不均衡が0.5を超えるほどの著しい未測定交絡が必要であることが示された。
• 重み付け推定量とアウトカムモデルを組み合わせることで、推定誤差がさらに低減され、モデルの誤指定に対しても頑健性が向上した。