[論文レビュー] Anchor regression: heterogeneous data meets causality

Dominik Rothenhaüsler, Nicolai Meinshausen+2 more|arXiv (Cornell University)|Jan 18, 2018

Bayesian Modeling and Causal Inference参考文献 43被引用数 67

ひとこと要約

外生アンカーを用いてOLSとIVの間を補間する回帰手法を導入し、シフトに対する分布的ロバスト性を提供するとともに、異質データ下での再現性を向上させます。

ABSTRACT

We consider the problem of predicting a response variable from a set of covariates on a data set that differs in distribution from the training data. Causal parameters are optimal in terms of predictive accuracy if in the new distribution either many variables are affected by interventions or only some variables are affected, but the perturbations are strong. If the training and test distributions differ by a shift, causal parameters might be too conservative to perform well on the above task. This motivates anchor regression, a method that makes use of exogeneous variables to solve a relaxation of the causal minimax problem by considering a modification of the least-squares loss. The procedure naturally provides an interpolation between the solutions of ordinary least squares and two-stage least squares. We prove that the estimator satisfies predictive guarantees in terms of distributional robustness against shifts in a linear class; these guarantees are valid even if the instrumental variables assumptions are violated. If anchor regression and least squares provide the same answer (anchor stability), we establish that OLS parameters are invariant under certain distributional changes. Anchor regression is shown empirically to improve replicability and protect against distributional shifts.

研究の動機と目的

• トレーニング時とテスト時の分布シフトおよびデータの異質性下での予測を動機づける。
• 観測データと摂動データに対する予測性能のトレードオフを定義する。
• IVの仮定を緩和しつつ、因果概念および道具変数（IV）とアンカー回帰を結びつける。
• シフト介入の下で理論的ロバスト性保証を持つ計算的に単純な推定量を提供する。

提案手法

• 母集団のアンカー回帰目的を定義し、射影残差をペナルティし、残差のアンカー空間への射影を制御する (Eq. 4)。
• 有限サンプルのプラグイン推定量を提供し、変換されたLS問題を解く (Eq. 5)。
• ガンマが変化するにつれて推定量が partialling out、OLS、IVの間を補間することを示す (Eq. 7)。
• アンカー回帰をk-class推定量および道具変数仮定の下のIVと関連づける。
• L1ペナルティによる疎性を用いた高次元拡張を許容し、実用的な計算について論じる。
• ガンマがシフト介入へ対するロバスト性を調整し、ガンマが大きいほど不変性を強調することを説明する。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースの摂動を通じて分布のシフトに対する予測のロバスト性をどう確保できるか？
• RQ2 異なるガンマ値の下で、アンカー回帰がPA、OLS、IVとの関係と補間をどのように行うか？
• RQ3 アンカー回帰の係数がOLSと一致する条件は何か、それが不変性と再現性にとって何を意味するか？
• RQ4 アンカーが無効な道具変数である場合でも、分布的にロバストな保証をアンカー回帰は提供できるか？

主な発見

• アンカー回帰は線形設定において、あるクラスのシフト介入に対してロバストな予測保証を提供する。
• ガンマが変化するにつれてPA、OLS、IVの間を補間し、特定の識別性条件の下で gamma→∞ のとき最終的にIVに繋がる。
• アンカー回帰と通常の最小二乗法（OLS）が同じ係数を与える場合（アンカースタビリティ）、OLSパラメータは特定の分布変化において不変である。
• 経験的には、アンカー回帰は再現性を改善し、異種の訓練グループにまたがるテストデータでの分布シフトに対する保護機能を発揮する。
• アンカーが有効な道具変数でなくても、不変性の特性を活用して頑健な予測を行える点で、このアプローチは依然として有用である。