[논문 리뷰] Regression-based causal inference with factorial experiments: estimands, model specifications, and design-based properties

Anqi Zhao, Peng Ding|arXiv (Cornell University)|2021. 01. 07.

Statistical Methods and Bayesian Inference참고 문헌 24인용 수 5

한 줄 요약

이 논문은 요인 실험에서 회귀 기반 원인 인과 추론을 위한 설계 기반 프레임워크를 수립하며, 요인 기반 회귀에서의 강력한 표준오차가 일반적인 요인 효과에 대해 渐近적으로 보수적인 추론을 제공함을 보여준다. 이는 회귀 계수의 원인 인과적 해석을 명확히 하고, 탄력적인 가중치를 허용하는 일반화된 요인 효과를 정의하며, 완전 무작위화 하에서 포화 모형과 비포화 모형 간의 편향-분산 트레이드오프를 정량화한다.

ABSTRACT

Factorial designs are widely used due to their ability to accommodate multiple factors simultaneously. The factor-based regression with main effects and some interactions is the dominant strategy for downstream data analysis, delivering point estimators and standard errors via one single regression. Justification of these convenient estimators from the design-based perspective requires quantifying their sampling properties under the assignment mechanism conditioning on the potential outcomes. To this end, we derive the sampling properties of the factor-based regression estimators from both saturated and unsaturated models, and demonstrate the appropriateness of the robust standard errors for the Wald-type inference. We then quantify the bias-variance trade-off between the saturated and unsaturated models from the design-based perspective, and establish a novel design-based Gauss--Markov theorem that ensures the latter's gain in efficiency when the nuisance effects omitted indeed do not exist. As a byproduct of the process, we unify the definitions of factorial effects in various literatures and propose a location-shift strategy for their direct estimation from factor-based regressions. Our theory and simulation suggest using factor-based inference for general factorial effects, preferably with parsimonious specifications in accordance with the prior knowledge of zero nuisance effects.

연구 동기 및 목표

• 요인 실험에 대한 요인 기반 모델에서 회귀 계수의 원인 인과적 해석을 명확히 하기 위해.
• 외부 타당성을 향상시키고 다양한 분야의 기존 정의를 통합하기 위해 임의의 가중치 체계를 갖춘 일반화된 요인 효과를 정의하기 위해.
• 설계 기반으로서의 강력한 표준오차의 성질을 규명하여 대표적인 Wald 유형의 추론을 위한 회귀 기반 분석에서의 성능을 확보하기 위해.
• 설계 기반 시 perspectve에서 포화 모형과 비포화 모형 간의 편향-분산 트레이드오프를 정량화하기 위해.
• 잠재 결과에 대한 모델링 가정 없이도 최소 제곱법과 강력한 공분산을 사용한 추론의 이론적 기반을 마련하기 위해.

제안 방법

• 최소 제곱법을 통해 일반적인 요인 효과의 추정량으로 회귀 계수를 매핑하기 위한 위치 이동 전략을 제안한다.
• 완전 무작위화 하에서 잠재 결과를 조건으로 하여 회귀 추정량의 설계 기반 표본 분포를 유도한다.
• Eicker–Huber–White의 강력한 공분산 행렬을 진짜 표본 공분산의 渐近적으로 보수적인 추정량으로 사용한다.
• 임의의 가중치 체계를 허용하는 일반화된 요인 효과를 정의하기 위해 대비 행렬 $ G $ 를 도입한다.
• 일정한 처리 효과 가정 하에서 비포화 회귀의 편향과 분산을 포화 모형과 비교하여 분석한다.
• 조건 1 하에서 渐近 이론을 적용하여 처리 비율의 수렴성과 잠재 결과의 편차의 유계성을 확보한다.

실험 결과

연구 질문

• RQ1 요인 실험에 대한 요인 기반 모델에서 회귀 계수의 원인 인과적 해석은 무엇인가?
• RQ2 이 맥락에서 대표적인 Wald 유형의 추론을 위해 최소 제곱법에서의 강력한 표준오차는 어떻게 정당화될 수 있는가?
• RQ3 설계 기반 시 perspectve에서 포화 모형과 비포화 모형 간의 편향-분산 트레이드오프는 무엇인가?
• RQ4 일반적인 요인 효과는 어떻게 정의되어야 하며, 원인 인과 추론, 실험 설계, 사회과학 문헌 간의 표준 정의를 통합할 수 있는가?
• RQ5 비포화 회귀 모형이 포화 모형보다 유한 표본 성능에서 더 우수한 조건은 무엇인가?

주요 결과

• 완전 무작위화 하에서 요인 기반 회귀에서의 강력한 표준오차는 진짜 표본 공분산에 대해 渐近적으로 보수적이며, 이는 Wald 유형의 추론에서의 사용을 정당화한다.
• 주 효과와 특정 상호작용을 포함하는 요인 기반 모델의 회귀 계수는 위치 이동 설계 기반 프레임워크 하에서 일반적인 요인 효과를 추정한다.
• 일정한 처리 효과 가정 하에서 비포화 회귀는 포화 모형보다 더 낮은 표본 분산을 가지지만, 부수 효과가 존재할 경우 지속적인 편향을 유발한다.
• 포화 모형과 비포화 모형 간의 편향-분산 트레이드오프는 공식적으로 정량화되었으며, 부수 효과가 0이 아닐 경우 포화 모형이 더 안전하다.
• 이론은 잠재 결과에 대한 모델링 가정 없이도 성립하며, 오직 설계 메커니즘과 조건 1에 의존하여 渐近 유효성을 확보한다.
• 이 프레임워크는 최소한의 수정으로 일반적인 $ Q_1 \times \cdots \times Q_K $ 요인 설계로 확장 가능하며, 회귀 결과와 모멘트 추정량 간의 대응 관계를 유지한다.