[논문 리뷰] Balancing, Regression, Difference-In-Differences and Synthetic Control Methods: A Synthesis

Nikolay Doudchenko, Guido W. Imbens|arXiv (Cornell University)|2016. 10. 25.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 논문은 유연하고 정규화된 가중치—음수 및 단위합이 아닌 가중치 포함—를 允허하면서 영구적 추가 이동을 포함하는 통합 프레임워크를 제안한다. 주요 기여는 유연하고 정규화된 추정기인 엘라스틱 넷과 최적 부분집합 선택을 사용하여, 적은 수 또는 많은 수의 대조 단위가 있는 설정에서 사전 추정을 향상시키는 것이다. 이는 세 가지 표준 응용 사례에서 균형과 강건성 향상을 입증하였다.

ABSTRACT

In a seminal paper Abadie, Diamond, and Hainmueller [2010] (ADH), see also Abadie and Gardeazabal [2003], Abadie et al. [2014], develop the synthetic control procedure for estimating the effect of a treatment, in the presence of a single treated unit and a number of control units, with pre-treatment outcomes observed for all units. The method constructs a set of weights such that selected covariates and pre-treatment outcomes of the treated unit are approximately matched by a weighted average of control units (the synthetic control). The weights are restricted to be nonnegative and sum to one, which is important because it allows the procedure to obtain unique weights even when the number of lagged outcomes is modest relative to the number of control units, a common setting in applications. In the current paper we propose a generalization that allows the weights to be negative, and their sum to differ from one, and that allows for a permanent additive difference between the treated unit and the controls, similar to difference-in-difference procedures. The weights directly minimize the distance between the lagged outcomes for the treated and the control units, using regularization methods to deal with a potentially large number of possible control units.

연구 동기 및 목표

• 패널 데이터에서 인과 추론을 위한 기존 방법—합성 제어, 차이의 차이(DID), 그리고 회귀—를 하나의 융통성 있는 프레임워크로 통합하고 일반화하기.
• 기존 방법의 제약 조건, 특히 비음수 가중치, 단위합 가중치, 그리고 절편 항이 없는 조건(영구적 차이)에 기인한 제한을 해결하여 실제 응용에서 추정치에 편향을 유도할 수 있음을 다루기.
• 변수 가중치, 비음수 가중치, 단위합이 아닌 가중치, 그리고 영구적 추가 이동을 허용하는 새로운 추정기 개발을 통해 사전 추정의 강건성과 균형을 향상시키기.
• 적은 수나 많은 수의 대조 단위, 다양한 사전 처리 추세가 존재하는 다양한 실증 설정에서 제안된 방법의 성능 평가하기.
• 기존 제약 조건을 완화함으로써 더 정확하고 안정적인 사전 추정 예측이 가능해지며, 특히 데이터 제약 조건으로 인해 기존 방법이 실패할 경우에 유의미한 개선이 이루어짐을 입증하기.

제안 방법

• 사전 처리 결과가 대조 단위 결과의 가중 선형 조합으로 표현되는 일반 선형 모형을 제안하며, 가중치는 정규화를 통해 추정한다.
• 음수 가중치, 단위합이 아닌 가중치, 그리고 절편 항(μ)을 허용하는 융통성 있는 추정기를 도입하여 치료 대상과 대조 단위 간의 영구적 차이를 캡처한다.
• 고차원의 대조 단위를 다루고 과적합을 방지하기 위해 엘라스틱 넷과 최적 부분집합 선택과 같은 정규화 기법을 사용하며, 조정 파rameter는 교차 검증을 통해 선정한다.
• 사전 처리 결과의 거리가 치료 대상과 대조 단위의 가중 평균 간 최소화되는 손실 함수를 사용하며, 결과 및 공변수 균형을 모두 통합한다.
• 합성 제어(비음수, 단위합 가중치), DID(등가중치, 절편), 매칭(변수 가중치, 비음수)를 특수 케이스로 포함하는 통합 프레임워크를 적용한다.
• 이중 단계 추정을 구현: 첫 번째 단계에서는 사전 처리 결과와 공변수를 균형 있게 맞추기 위해 정규화를 통해 가중치를 추정하고, 두 번째 단계에서는 적합된 사전 추정치를 사용해 치료 효과를 추정한다.

실험 결과

연구 질문

• RQ1 합성 제어, 차이의 차이, 그리고 회귀 기반 방법을 인과 추론을 위한 하나의 융통성 있는 프레임워크로 통합할 수 있는가?
• RQ2 비음수 가중치, 단위합 가중치, 및 영점 절편이라는 표준 가정을 완화할 경우, 사전 추정의 정확성과 안정성에 어떤 영향을 미치는가?
• RQ3 대조 단위의 수가 많거나 사전 처리 기간의 수가 적을 경우, 엘라스틱 넷과 최적 부분집합 선택과 같은 정규화 방법이 추정에 어떻게 기여하는가?
• RQ4 기존의 합성 제어 및 DID 추정기보다 제안된 방법이 어떤 실증 설정에서 더 우수한 성능을 보이며, 특히 표준 가정을 위반하는 데이터 구성에서 어떻게 성능을 높이는가?
• RQ5 영구적 추가 이동(절편)이 실제 응용에서 사전 추정 결과의 균형과 예측 정확도에 얼마나 기여하는가?

주요 결과

• 엘라스틱 넷과 최적 부분집합 추정기는 세 응용 사례 전반에서 원래의 합성 제어 및 DID 방법보다 균형과 예측 정확도 측면에서 끊임없이 뛰어나다.
• 캘리포니아 담배 소비 사례에서, 한 개의 대조 주(state)와 비영점 절편(μ = 37.6)을 갖는 최적 부분집합 추정기는 치료 효과 추정치 -31.5(표준 오차 20.3)를 도출하여 원래 ADH 추정기보다 더 큰 효과와 더 정밀한 추정을 보여준다.
• 서독 재통일 사례에서 엘라스틱 넷 추정기는 13개의 국가(두 곳은 음수 가중치 포함)를 선택하고 -882의 더 안정적인 추정치(표준 오차 1147.2)를 도출했으며, 원래 합성 제어의 -1217보다 표준 오차가 더 크다.
• 마리엘 보트리프 분석에서 엘라스틱 넷 추정기는 치료 효과 0.11(표준 오차 0.27)을 도출했으며, 원래 합성 제어 추정치 0.21(표준 오차 0.19)보다 더 정밀하고 편향이 적다. 특히 고차원적 대조 집합에서 뚜렷한 개선이 있다.
• DID 추정기는 등가중치와 단위합 가중치 가정에 제약을 받지만, 캘리포니아에서는 -32.4, 서독에서는 990의 치료 효과를 도출했으며, 표준 오차가 더 크므로 효율성이 떨어지는 것으로 나타났다.
• 유연한 가중치와 절편을 갖는 제안된 방법은 세 사례 연구 전반에서 치료 대상과 사전 추정 대조 결과 간의 균형 향상을 입증함으로써 사전 추정 예측의 편향을 감소시켰다.