[논문 리뷰] Anchor regression: heterogeneous data meets causality

Dominik Rothenhaüsler, Nicolai Meinshausen외 2명|arXiv (Cornell University)|2018. 01. 18.

Bayesian Modeling and Causal Inference참고 문헌 43인용 수 67

한 줄 요약

앵커 회귀(anchor regression)은 외생 앵커를 사용하여 OLS와 IV 사이를 보간하는 회귀 방법을 도입하여, 시프트에 대한 분포적 강건성을 제공하고 이질적 데이터 하에서 재현성을 향상시킨다.

ABSTRACT

We consider the problem of predicting a response variable from a set of covariates on a data set that differs in distribution from the training data. Causal parameters are optimal in terms of predictive accuracy if in the new distribution either many variables are affected by interventions or only some variables are affected, but the perturbations are strong. If the training and test distributions differ by a shift, causal parameters might be too conservative to perform well on the above task. This motivates anchor regression, a method that makes use of exogeneous variables to solve a relaxation of the causal minimax problem by considering a modification of the least-squares loss. The procedure naturally provides an interpolation between the solutions of ordinary least squares and two-stage least squares. We prove that the estimator satisfies predictive guarantees in terms of distributional robustness against shifts in a linear class; these guarantees are valid even if the instrumental variables assumptions are violated. If anchor regression and least squares provide the same answer (anchor stability), we establish that OLS parameters are invariant under certain distributional changes. Anchor regression is shown empirically to improve replicability and protect against distributional shifts.

연구 동기 및 목표

• 훈련-테스트 분포 shifts 및 데이터 이질성에 대한 예측적 강건성 동기화.
• 관찰 데이터와 교란 데이터에 대한 예측 성능의 균형을 맞추기 위한 앵커 회귀 정의.
• 앵커 회귀를 인과 개념 및 도구 변수와 연결하면서 IV 가정의 완화를 제시.
• 시프트 개입에 대한 이론적 강건성 보장을 갖춘 계산적으로 간단한 추정기 제공.

제안 방법

• 모수 앵커 회귀 목적을 정의하고 투사 잔차를 제재하고 잔차의 앵커 공간으로의 투사를 제어하는 정의(식(4)).
• 변환된 LS 문제를 풀이하는 유한 표본 플러그인 추정기 제공(식(5)).
• 감마가 달라질 때 추정기가 부분화(partialling out), OLS, IV 사이를 보간함을 보임(식(7)).
• 앵커 회귀를 k-클래스 추정기 및 IV와의 관계를 설명하고 도구 변수 가정 하의 IV와의 관련성.
• L1 페널티를 통한 희소성으로 고차원 확장을 허용하고 실용적 계산에 대해 논의.
• 감마가 시프트 개입에 대한 강건성을 조정하며, 더 큰 감마가 불변성을 강조함을 설명.

실험 결과

연구 질문

• RQ1 앵커 기반 교란에 의한 분포 변 shifts에 대한 예측적 강건성을 어떻게 달성할 수 있는가.
• RQ2 앵커 회귀가 PA, OLS, IV 사이를 서로 다르게 gamma 값에 따라 어떻게 보간하는가.
• RQ3 앵커 회귀 계수가 언제 OLS와 일치하며 이것이 불변성과 재현성에 대해 무엇을 시사하는가.
• RQ4 앵커가 타당한 도구 변수 역할을 하지 못할 때도 분포적으로 강건한 보장을 제공할 수 있는가?

주요 결과

• 앵커 회귀는 선형 설정에서 시프트 개입에 대해 예측적 보장을 제공한다.
• 감마가 달라질 때 PA, OLS, IV 사이를 보간하며, 특정 식별 가능성 조건에서 IV로 수렴하는 것을 궁극적으로 연결한다.
• 앵커 회귀와 일반적인 최소제곱이 같은 계수를 주는 경우(앵커 안정성), 특정 분포 변화 하에서 OLS 매개변수가 불변으로 남는다.
• 실험적으로, 앵커 회귀는 재현성을 향상시키고 이질적 훈련 그룹에서 테스트 데이터에 대한 분포 변 shifts를 보호한다.
• 앵커가 유효한 도구 변수들이 아닐 때에도 불변성 특성을 활용하여 강건한 예측을 제공하는 데 여전히 유용하다.