[논문 리뷰] Varying impacts of letters of recommendation on college admissions: Approximate balancing weights for subgroup effects in observational studies

Eli Ben‐Michael, Avi Feller외 1명|arXiv (Cornell University)|2020. 08. 10.

Advanced Causal Inference Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 관찰 연구에서 이질적 치료 효과를 추정하기 위해 전역적 및 국소적 공변량 균형을 동시에 최적화하는 근사 균형 가중치를 제안한다. 이는 대학 입학에 대한 추천서의 영향을 분석하기 위한 것이다. 볼록 최적화와 계층적 성향스코어 모델을 조합함으로써, 하위군별 균형을 향상시키고 편향을 감소시켜, 예측된 입학 확률가 높은 지원자일수록 추천서가 입학 기회를 더 크게 증가시킨다는 결과를 도출한다. 이는 소수자 미소수자에 대한 효과에 대해서는 혼합된 증거를 보인다.

ABSTRACT

In a pilot program during the 2016-17 admissions cycle, the University of California, Berkeley invited many applicants for freshman admission to submit letters of recommendation. We use this pilot as the basis for an observational study of the impact of submitting letters of recommendation on subsequent admission, with the goal of estimating how impacts vary across pre-defined subgroups. Understanding this variation is challenging in observational studies, however, because estimated impacts reflect both actual treatment effect variation and differences in covariate balance across groups. To address this, we develop balancing weights that directly optimize for ``local balance'' within subgroups while maintaining global covariate balance between treated and control units. We then show that this approach has a dual representation as a form of inverse propensity score weighting with a hierarchical propensity score model. In the UC Berkeley pilot study, our proposed approach yields excellent local and global balance, unlike more traditional weighting methods, which fail to balance covariates within subgroups. We find that the impact of letters of recommendation increases with the predicted probability of admission, with mixed evidence of differences for under-represented minority applicants.

연구 동기 및 목표

• 추천서의 영향이 하위군, 특히 소수자 미소수자(URMs) 간에 어떻게 달라지는지 추정하기.
• 관찰 연구에서 공변량 불균형 문제를 다루며, 추정된 치료 효과의 변동성이 진정한 이질성보다는 불균형 때문일 수 있음을 고려하기.
• 정확한 전역 균형과 하위군 내 근사 국소 균형을 동시에 확보하는 가중치 방법을 개발하여 하위군 효과 추정의 편향을 감소시키기.
• 유한 표본에서 기존의 역성향스코어 가중치보다 우수한 성능을 보임을 입증하며, 하위수준 균형을 직접 최적화함으로써 성능 향상을 달성하기.
• 가중치와 결과 모델링을 조합하여 편향 보정을 수행하고, 원인 인과 추론의 강건성을 향상시키기.

제안 방법

• 각 하위군 내 국소 불균형 측도를 최소화하면서도 처리군과 대조군 간 정확한 전역 균형을 강제하는 볼록 최적화 문제를 수립한다.
• 국소 및 전역 공변량 균형을 목표로 하는 가중치를 도입하여, 하위군 내에서 공변량 분포가 근사적으로 동일하고 전체적으로 정확히 동일하도록 보장한다.
• 이 방법을 계층적 성향스코어 모델 기반의 역성향스코어 가중치로 이중 표현화하며, 하위군별 매개변수는 전역 모델 쪽으로 부분 풀링된다.
• 라그랑주 이중형식을 사용하여 최적화 문제를 유도하며, 해는 이중 변수에서 원래 문제의 가중치로 변환되며, 공변량의 임계값을 적용한 선형 함수로 표현된다.
• 가중치 추정량과 결과 모델을 조합하여 편향 보정을 수행하며, 매칭 기반 이중 강건 추정과 유사한 방식이다.
• 불완전한 공변량에 대한 민감도 분석을 수행하여 결과의 강건성을 평가하며, 결과를 뒤집기 위해 필요한 미측정 공변량의 불균형 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 추천서 제출이 대학 입학 확률에 미치는 영향이 하위군, 특히 소수자 미소수자 간에 달라지는가?
• RQ2 지원자의 예측 입학 확률에 따라 추천서의 효과는 어떻게 변하는가?
• RQ3 국소 및 전역 공변량 균형을 동시에 확보하는 가중치 방법이 기존의 표준 역성향스코어 가중치보다 하위군 특이 치료 효과 추정에 더 나은 성능을 보일 수 있는가?
• RQ4 미측정 공변량이 추천서의 추정된 영향에 얼마나 영향을 미치며, 결과는 이러한 편향에 얼마나 강건한가?
• RQ5 제안된 균형 가중치 방법이 유한 표본에서 기존 방법보다 더 나은 공변량 균형과 낮은 추정 오차를 달성하는가?

주요 결과

• 제안된 균형 가중치 방법은 뛰어난 국소 및 전역 공변량 균형을 달성하며, 하위군 내 공변량 균형을 확보하지 못하는 기존의 역성향스코어 가중치보다 뛰어난 성능을 보인다.
• 추천서가 입학 확률에 미치는 영향은 예측된 입학 확률이 높을수록 증가하며, 이는 추천서가 이미 입학 가능성이 높은 지원자에게 더 유익하다는 것을 시사한다.
• 소수자 미소수자 지원자에게서 추천서 효과가 다를지에 대한 증거는 혼합되어 있으며, 강력하거나 일관된 하위군 특이 차이가 발견되지 않는다.
• 이 방법의 계층적 성향스코어 모델 기반 이중 표현은 이론적 기반을 확인하며 기존 원인 인과 추론 프레임워크와 연결된다.
• 민감도 분석 결과, 추천서의 정의된 긍정적 영향을 무효화하기 위해선, 미측정 공변량에서 표준화된 불균형이 0.5를 초과하는 정도의 심각한 불균형이 필요하다는 것이 확인되었다.
• 가중치 추정량과 결과 모델을 조합함으로써 추정 오차가 추가로 감소하고, 모형 잘못 설정에 대한 강건성도 향상된다.