[논문 리뷰] Approximate Residual Balancing: De-Biased Inference of Average Treatment Effects in High Dimensions

Susan Athey, Guido W. Imbens외 1명|arXiv (Cornell University)|2016. 04. 25.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 논문은 고차원 선형 모델에서 처리 효과의 평균을 추정할 때 손실 점수의 일致성 추정이 필요하지 않은, 근사 잔차 균형(ARB)이라는 방법을 제안한다. 균형 가중치와 정규화된 회귀 보정을 조합함으로써, 오버랩과 선형성 가정 하에서 √n-일致 추정을 달성하며, 전통적인 이중로버스트 방법이 손실 점수 추정에 의존하는 것과는 달리 더 넓은 범위의 타당한 추론을 가능하게 한다.

ABSTRACT

There are many settings where researchers are interested in estimating average treatment effects and are willing to rely on the unconfoundedness assumption, which requires that the treatment assignment be as good as random conditional on pre-treatment variables. The unconfoundedness assumption is often more plausible if a large number of pre-treatment variables are included in the analysis, but this can worsen the performance of standard approaches to treatment effect estimation. In this paper, we develop a method for de-biasing penalized regression adjustments to allow sparse regression methods like the lasso to be used for sqrt{n}-consistent inference of average treatment effects in high-dimensional linear models. Given linearity, we do not need to assume that the treatment propensities are estimable, or that the average treatment effect is a sparse contrast of the outcome model parameters. Rather, in addition standard assumptions used to make lasso regression on the outcome model consistent under 1-norm error, we only require overlap, i.e., that the propensity score be uniformly bounded away from 0 and 1. Procedurally, our method combines balancing weights with a regularized regression adjustment.

연구 동기 및 목표

• 고차원 설정에서 평균 처리 효과를 추정할 때, 라소와 같은 정규화된 회귀 보정이 유도하는 편향을 해결하기 위해.
• 손실 점수의 일치 추정이 필요하지 않은, √n-일치 추론을 가능하게 하기 위해.
• 선형성과 오버랩 가정을 활용하여 고차원 결과 모델에서 타당한 추론을 달성하는 방법을 개발하기 위해.
• 이중로버스트 난이도 추정자에 의존하지 않는, 균형 가중치와 정규화된 회귀를 조합한 비편향화 프레임워크를 제공하기 위해.

제안 방법

• 고차원 공변수 공간에서 치료군과 대조군 간 잔차 불균형의 ∞-노름을 최소화하는 균형 가중치를 구성하는 방법.
• 편향과 분산의 균형을 조정하는 조정 파rameter ζ를 포함한 정규화된 최적화 문제를 통해, 라소로 추정된 결과 모델의 잔차를 균형 잡는 가중치를 찾는 방법.
• 고차원 수축에 의해 유도된 편향을 보정하기 위해, 균형 가중치를 사용하여 라소 회귀 계수 추정치에 비편향 보정을 적용하는 방법.
• 결과 모델에 대한 프리라이트 라소 피팅을 수행한 후, 잔차 불균형을 최소화하는 균형 가중치를 찾기 위해 제약 조건이 있는 최적화 문제를 해결하는 방법.
• 결과 모델의 선형성과 오버랩(손실 점수 0과 1에서 벗어나 있음)을 가정하지만, 치료 메커니즘의 희박성이나 손실 점수의 일致 추정이 필요하지 않다.
• 최종 추정자는 라소 예측과 균형 가중치를 조합하여 평균 처리 효과의 √n-일치이고 점근적으로 정규분포를 따르는 추정치를 생성한다.

실험 결과

연구 질문

• RQ1 손실 점수의 일치 추정이 필요 없이 고차원 선형 모델에서 √n-일치 추정을 달성할 수 있는가?
• RQ2 고차원 결과 모델에서 라소 회귀에 의해 발생하는 편향을 어떻게 보정하여 타당한 추론을 가능하게 할 수 있는가?
• RQ3 표본 수를 초과하는 공변수의 수가 있는 상황에서, 설계 및 모델 구조에 어떤 조건이 요구되어야 비편향 추론이 가능할 수 있는가?
• RQ4 결과 모델은 잘 지정되어 있지만 손실 점수 추정이 불가능한 상황에서, 제안된 방법의 성능은 이중로버스트 추정자와 어떻게 비교되는가?
• RQ5 조정 파rameter ζ는 편향과 분산을 균형 잡는 데 어떤 역할을 하는가? 그리고 이를 데이터 적응적으로 선택할 수 있는가?

주요 결과

• 제안된 근사 잔차 균형 방법은 오버랩과 선형성 조건 하에서 손실 점수의 일치 추정이 필요 없이 √n-일치 추정을 달성한다.
• 신뢰구간의 커버리지가 오버랩이 더 크면 향상된다 (예: η = 0.25 vs. η = 0.1) 및 진짜 계수 벡터가 더 희박할수록 커버리지가 향상된다.
• 실험 결과는 표본 크기가 증가할수록 커버리지 비율이 향상됨을 보여주며, 이는 이론적 결과가 예측한 점근적 타당성을 뒷받침한다.
• 결과 모델과 손실 점수 모델 둘 다 희박한 경우에도 이 방법은 이중로버스트 방법보다 잘 작동하며, 강한 선형 효과가 있는 설정에서 뛰어난 성능을 보인다.
• 고정된 조정 파rameter ζ = 1/2는 시뮬레이션 전반에서 일관되게 양호한 성능을 보이며, 이는 데이터 적응적 선택의 이론적 과제가 있음에도 불구하고 조정 선택에 대한 강건성을 시사한다.
• 이 방법은 특히 선형 모델에서 일치 추정이 필요한 난이도 추정이 필요한 문제의 범위를 확장한다.