[논문 리뷰] On the Nuisance of Control Variables in Regression Analysis

Paul Hünermund, Beyers Louw|arXiv (Cornell University)|2020. 05. 20.

Advanced Causal Inference TechniquesMathematics참고 문헌 17인용 수 21

한 줄 요약

이 논문은 다변량 회귀분석에서의 통제 변수가 종종 내생적임을 주장하며, 이로 인해 추정된 계수들이 교란 요인의 영향을 받아 인과적 해석이 불가능하다고 지적한다. 저자들은 통제 변수의 계수를 생략하거나 부록으로 이관하여, 주요 처리 효과의 인과적 규명에 초점을 맞추어 관리 및 조직 연구에서 오해를 불러일으킬 수 있는 해석을 방지할 것을 제안한다.

ABSTRACT

Control variables are included in regression analyses to estimate the causal effect of a treatment on an outcome. In this paper, we argue that the estimated effect sizes of controls are unlikely to have a causal interpretation themselves, though. This is because even valid controls are possibly endogenous and represent a combination of several different causal mechanisms operating jointly on the outcome, which is hard to interpret theoretically. Therefore, we recommend refraining from interpreting marginal effects of controls and focusing on the main variables of interest, for which a plausible identification argument can be established. To prevent erroneous managerial or policy implications, coefficients of control variables should be clearly marked as not having a causal interpretation or omitted from regression tables altogether. Moreover, we advise against using control variable estimates for subsequent theory building and meta-analyses.

연구 동기 및 목표

• 회귀분석에서 통제 변수 계수를 인과적 의미로 해석하는 광범위한 관행을 도전하기 위해.
• 심지어 타당한 통제 변수조차도 내생적일 수 있으며, 여러 관찰되지 않은 원인 메커니즘이 동시에 결과에 영향을 미치기 때문에 그 경계 효과가 해석하기 어려울 수 있음을 강조하기 위해.
• 통제 변수 추정치를 과도하게 해석함으로써 오해의 경영 또는 정책적 함의가 발생할 위험을 다루기 위해.
• 통제 변수를 실질적 발견이 아닌 번거로움의 매개변수로 간주하여 경험적 연구에서의 해석에 초점을 맞추기 위해.
• 통제 변수 추정치가 인과적 명확성이 없기 때문에 이들을 이론 구축 및 메타분석에 사용하는 것을 권장하지 않기 위해.

제안 방법

• 잠재적 결과 프레임워크와 인과 다이어그램(d-분리)을 사용하여 회귀 모델에서 어떤 변수를 통제해야 하는지 평가하기 위해.
• 도식적 인과 모델을 사용하여 타당한 통제 변수와 잘못된 통제 변수를 구분하며, 통제 변수가 여전히 내생적일 수 있음을 강조하기 위해.
• 역행로 기준을 적용하여 역행로 경로를 차단하는 조정 집합을 식별함으로써 처리 효과 추정의 일관성을 확보하기 위해.
• 연구자들이 통제 변수의 부호나 유의성에 의존하기보다는 주요 처리 변수를 식별하고 그에 대한 신뢰할 수 있는 규명 논거를 제시하는 데 초점을 맞추도록 권장하기 위해.
• 통제 변수 계수를 주 회귀 표본에서 생략하거나 부록으로 이관하고, 표 목차에 명확한 레이블을 부여하도록 제안하기 위해.
• R² 향상과 누적 F-검정을 통한 통제 변수 포함 여부 평가를 비판하며, 이는 이론 기반의 모델 사양에 초점을 맞추는 것이 바람직하다고 주장하기 위해.

실험 결과

연구 질문

• RQ1 통제 변수 계수는 추정을 향상시키기 위해 포함되었음에도 불구하고, 왜 회귀 모델에서 자주 타당한 인과적 해석을 갖지 못하는가?
• RQ2 관찰되지 않은 요인이 영향을 미칠 수 있는 통제 변수 계수를 인과적 해석으로 해석할 경우의 함의는 무엇인가?
• RQ3 연구자들이 통제 변수 결과를 보고할 때는 경험적 관리 및 조직 연구에서 오해의 소지를 줄이기 위해 어떻게 해야 하는가?
• RQ4 통제 변수 추정치의 인과적 상태가 불확실한 상황에서, 이들은 메타분석이나 이론 개발에 얼마나 활용되어야 하는가?
• RQ5 통제 변수 계수가 일반적으로 편향되거나 해석하기 어려운 경우, 이들의 적절한 역할은 무엇인가?

주요 결과

• 2015~2020년 기간 동안 Organization Science와 Strategic Management Journal에 게재된 회귀 기반 논문들 중 47%가 통제 변수의 추정 효과 크기를 명시적으로 논의하여, 이와 같은 해석 관행이 널리 퍼져 있음을 시사한다.
• 통제 변수 계수는 결과에 동시에 영향을 미치는 여러 관찰되지 않은 인과 메커니즘의 조합을 반영할 수 있기 때문에, 인과적 해석이 거의 불가능하다.
• 심지어 타당한 통제 변수일지라도 관찰되지 않은 혼란 요인으로 인해 내생적일 수 있으며, 이는 그 자체로 해석 가능성을 약화시킨다.
• 표 1(열 6~8)에서 보듯이, 다양한 조정 집합에서 통제 변수 계수의 값이 상당히 다를 수 있으며, 이는 불안정성과 고유한 인과적 의미의 부재를 시사한다.
• 메타분석은 통제 변수 추정치가 인과적 상태가 모호하기 때문에 누적 증거에 기여하지 못하므로, 타당한 규명 논거가 있는 주요 처리 변수에 국한되어야 한다.
• 통제 변수 계수를 생략하거나 부록으로 이관함으로써 오해의 해석을 방지하고, 메서도학적 엄밀함을 유지하면서도 수기 제출의 간소화를 이룰 수 있다.