[논문 리뷰] A Note on "How Robust Standard Errors Expose Methodological Problems They Do Not Fix, and What to Do About It"

Peter M. Aronow|arXiv (Cornell University)|2016. 09. 06.

Advanced Causal Inference Techniques참고 문헌 19인용 수 3

한 줄 요약

이 논문은 킹과 로버츠(2015)가 주장한 바와 같이, 강력한 표준오차와 고전적 표준오차 간의 격리가 모형 오특성의 징후임을 도전하며, 이러한 차이가 특히 OLS 추정을 사용하는 선형 모형과 같은 반모수적 모형에서는 흔하고 예상 가능한 것으로 보고 있다. 여기서 고전적 표준오차는 이질분산성 하에서 일관성이 없으며, 반면 강력한 표준오차는 표본 변동성을 올바르게 반영한다. 시뮬레이션을 통해 저자들은 고전적 표준오차가 심각하게 편향됨을 입증하였고, KR의 진단 히ュ리스틱이 문제를 드러내기보다 오히려 오도할 수 있음을 보여주었다.

ABSTRACT

King and Roberts (2015, KR) claim that a disagreement between robust and classical standard errors exposes model misspecification. We emphasize that KR's claim only generally applies to parametric models: models that assume a restrictive form of the distribution of the outcome. Many common models in use in political science, including the linear model, are not necessarily parametric -- rather they may be semiparametric. Common estimators of model parameters such as ordinary least squares have both robust (corresponding to a semiparametric model) and classical (corresponding to a more restrictive model) standard error estimates. Given a properly specified semiparametric model and mild regularity conditions, the classical standard errors are not generally consistent, but the robust standard errors are. To illustrate this point, we consider the case of the regression estimate of a semiparametric linear model with no model misspecification, and show that robust standard errors may nevertheless systematically differ from classical standard errors. We show that a disagreement between robust and classical standard errors is not generally suitable as a diagnostic for regression estimators, and that KR's reanalyses of Neumayer (2003) and Büthe and Milner (2008) are predicated on strong assumptions that the original authors did not invoke nor require.

연구 동기 및 목표

• 킹과 로버츠(2015)의 주장에 따라 강력한 표준오차와 고전적 표준오차 간의 차이가 모형 오특성의 징후임을 시사하는 진단 히ュ리스틱의 일반화 가능성에 도전하기.
• 파라미터적 모형과 반모수적 모형의 차이를 명확히 하여, 정치학에서 널리 사용되는 많은 모형이 파라미터적 모형이 아니라 반모수적 모형임을 강조하기.
• 적절하게 설정된 반모수적 선형 모형에서, 강력한 표준오차가 고전적 표준오차와 체계적으로 다를 수 있음을 보여주며, 이는 모형 오특성 때문이 아니라 모형 가정 때문임을 입증하기.
• KR의 뉴마이어(2003) 및 부테와 밀너(2008)에 대한 재분석이 원래 저자들이 설정한 모형 가정을 고려하지 않은 강력한 파라미터적 가정에 기반하고 있어, 그 진단의 타당성이 훼손됨을 보여주기.
• 표준오차의 차이에 기반한 데이터 적응형 모형 재설정을 경계하기. 이는 데이터 스노핑을 유도하고 유의수준을 과도하게 높여 추론의 타당성을 해칠 수 있음.

제안 방법

• 파라미터적 모형을 결과 분포의 유한차원 파라미터 형식을 가정하는 모형으로 정의하고, 반모수적 모형을 조건부 평균의 구조 외에는 분포 형식을 제약하지 않는 모형으로 정의하기.
• 이질분산성 하의 선형 모형에서 강력한 표준오차와 고전적 표준오차의 표본 분포를 비교하기 위해 n=1000, m=200의 몬테카를로 시뮬레이션 수행하기.
• 강력한 표준오차 추정기와 고전적 표준오차 추정기의 기대값 계산: E[√V_Het(β̂₁)] = 0.206 및 E[√V_C(β̂₁)] = 0.141로, 고전적 표준오차가 심각하게 편향됨을 보여줌.
• 이질분산성 하에서 고전적 표준오차가 이질분산성 가정을 잘못 가정함에 따라 일관성이 없으며, 반면 강력한 표준오차는 여전히 일관됨을 주장하기.
• 맨스키의 신뢰도 감소 법칙을 적용하여, 강력한 이론적 근거 없이 파라미터적 모형보다 반모수적 모형이 더 신뢰할 만하다고 주장하기.
• KR이 표준오차의 불일치에 기반해 모형을 재설정할 것을 권고하는 것은 추론 타당성을 해치는 데이터 스노핑의 한 형태임을 비판하기.

실험 결과

연구 질문

• RQ1 모형 오특성이 없는 조건에서 강력한 표준오차와 고전적 표준오차가 어떻게 다를 수 있는가?
• RQ2 왜 이질분산성 하에서 반모수적 선형 모형에서 고전적 표준오차가 일관성이 없나?
• RQ3 킹과 로버츠의 뉴마이어(2003) 및 부테와 밀너(2008)에 대한 재분석은 원래 저자들의 모형 가정 하에서 얼마나 타당한가?
• RQ4 반모수적 모형에서 강력한 표준오차와 고전적 표준오차 간의 차이가 모형 오특성의 신뢰할 수 있는 진단 도구가 될 수 있는가?
• RQ5 KR의 진단 히ュ리스틱은 정량적 정치학에서 통계적 추론과 모형 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 이질분산성 하에서 적절하게 설정된 반모수적 선형 모형에서 고전적 표준오차는 심각하게 편향됨(E[√V_C(β̂₁)] = 0.141), 반면 강력한 표준오차는 약간의 편향 없이 추정됨(E[√V_Het(β̂₁)] = 0.206).
• 이러한 상황에서 강력한 표준오차와 고전적 표준오차 간의 격리는 모형 오특성의 징후가 아니라, 고전적 추정기의 잘못된 동일분산성 가정에 기인한 결과임을 보여줌.
• KR의 진단 히ュ리스틱—강력한 표준오차와 고전적 표준오차 간의 차이를 이용해 모형 문제를 경고하는 것—은 실제로 문제가 없는 곳에서 문제 발생을 경고할 수 있어 연구자들을 오도할 수 있음.
• KR의 뉴마이어(2003) 및 부테와 밀너(2008)에 대한 재분석은 원래 연구에서 사용되지 않은 강력한 파라미터적 가정에 기반하고 있어, 그 진단이 적용 불가능함.
• 표준오차의 차이에 기반해 모형을 재설정하는 것은 데이터 스노핑을 유도할 수 있으며, 이는 모형 선택 과정이 데이터에 적응하게 하여 유의수준을 과도하게 높이고 추론의 타당성을 해칠 수 있음.
• 맨스키의 신뢰도 감소 법칙에 따르면, 데이터 생성 과정에 대한 제약이 적은 반모수적 모형은 강력한 이론적 근거 없이 파라미터적 모형보다 더 신뢰할 수 있음.