[논문 리뷰] The Effect of Omitted Variables on the Sign of Regression Coefficients

Matthew A. Masten, Alexandre Poirier|arXiv (Cornell University)|2022. 08. 01.

Advanced Causal Inference Techniques인용 수 14

한 줄 요약

이 논문은 상관 변수 생략 시 회귀 계수의 부호를 뒤집는 것이 그 계수를 0에 가깝게 만드는 것보다 더 쉽게 일어날 수 있음을 보여주며, 오스터의 델타와 같은 일반적으로 사용되는 민감도 측정법의 탄력성에 도전한다. 본문은 더 신뢰할 수 있는 탄력성 지표로 부호 전환 붕괴점(의미상의 변화가 일어나는 지점)을 제안하고, 보조 매개변수의 다양한 범위에서 민감도 분석을 수행하여 실증적 추론을 향상시키자고 주장한다.

ABSTRACT

We show that, depending on how the impact of omitted variables is measured, it can be substantially easier for omitted variables to flip coefficient signs than to drive them to zero. This behavior occurs with "Oster's delta" (Oster 2019), a widely reported robustness measure. Consequently, any time this measure is large -- suggesting that omitted variables may be unimportant -- a much smaller value reverses the sign of the parameter of interest. We propose a modified measure of robustness to address this concern. We illustrate our results in four empirical applications and two meta-analyses. We implement our methods in the companion Stata module regsensitivity.

연구 동기 및 목표

• 회귀 분석에서 계수의 안정성 또는 '해소 가능' 탄력성(오스터의 델타를 통한)이 신뢰성 보장한다고 보는 가정을 도전한다.
• 특히 비선형 편향 구조 하에서, 상관 변수 생략으로 인한 계수의 부호 전환이 계수 감소보다 더 심각한 위협임을 입증한다.
• 기존 방법들(예: 오스터의 델타)보다 더 정보가 풍부한 탄력성 지표로 부호 전환 붕괴점을 제안한다.
• 특히 델타가 1에 가깝지만 정확히 1이 아닌 경우, 편향 조정 추정치가 민감도 매개변수의 미세한 변화에 매우 민감하게 반응함을 강조한다.
• 실증적 추론을 향상시키기 위해 민감도 분석에 대한 실용적 권고를 제공하며, 이를 위해 식별 집합을 그림으로 표현하고 여러 방법을 동시에 사용한다.

제안 방법

• 상관 변수 생략이 있는 회귀 모델에서 '해소 가능'과 '부호 전환' 붕괴점 간의 엄밀한 구분을 도입한다.
• 오스터(2019)의 민감도 모델에 대해 부호 전환 붕괴점을 유도하며, 이가 '해소 가능' 붕괴점보다 상당히 작을 수 있음을 보여준다.
• 델타 = 1 근처에서 편향 조정 추정치가 비연속적인 행동을 보일 수 있음을 입증하며, 이는 델타가 1에 가깝지만 정확히 1이 아닌 경우에도 매우 큰 편향이 발생할 수 있음을 시사한다.
• 부호 뒤집힘 행동을 고려한 수정된 탄력성 측정법을 제안하여 인과 추정치에 대한 신뢰도를 향상시킨다.
• 제안된 민감도 분석 프레임워크를 구현하고 시각화하기 위해 Stata 모듈 `regsensitivity`를 활용한다.
• 사회자본과 나치 정권의 부상과 같은 네 가지 실증 사례에 방법을 적용하여, 부호 전환 위험과 탄력성 향상 효과를 실증적으로 보여준다.

실험 결과

연구 질문

• RQ1 상관 변수 생략이 계수의 부호를 0으로 만들기보다 더 쉽게 뒤집을 수 있는가?
• RQ2 실제로 부호 전환 붕괴점은 오스터의 '해소 가능' 붕괴점보다 어떻게 다를까?
• RQ3 왜 오스터의 델타 기반 편향 조정은 델타 = 1에서의 미세한 이탈에 매우 민감한가?
• RQ4 계수의 안정성만으로는 상관 변수 생략 편향을 평가하는 데 얼마나 잘못된 해석을 유도할 수 있는가?
• RQ5 연구자들이 보조 매개변수를 다양화하고 여러 방법을 동시에 사용함으로써 민감도 분석을 어떻게 향상시킬 수 있는가?

주요 결과

• 부호 전환 붕괴점은 항상 '해소 가능' 붕괴점보다 작으며, 이는 부호 전환이 계수 축소보다 더 빈번한 위협임을 시사한다.
• 오스터의 델타가 크다는 것은 탄력성 있음을 시사하지만, 이 임계값보다 略적으로 낮은 델타 값일 경우에도 계수의 부호가 뒤집힐 수 있어 결과에 대한 신뢰를 약화시킨다.
• 델타가 1에 가깝지만 정확히 1이 아닌 경우, 편향 조정 추정치는 임의로 큰 값을 가질 수 있으며, 이는 민감도 모델의 근본적인 비연속성 문제를 드러낸다.
• 계수의 안정성만으로는 상관 변수 생략 편향이 매우 클 수 있음을 배제할 수 없으며, 제어 변수를 추가해도 기준 계수가 그대로 유지되는 경우에도 마찬가지다.
• 실증 적용 사례에서는 부호 뒤집힘 행동이 탄력성에 대한 결론을 뒤집을 수 있지만, 제안된 방법을 적용하면 신뢰도가 회복됨을 보였다.
• 민감도 매개변수의 다양한 값과 여러 민감도 분석 방법을 동시에 사용하면, 단일 점 추정치에 의존하는 것보다 더 신뢰할 수 있고 일관성 있는 추론이 가능하다.