[論文レビュー] Kernel Instrumental Variable Regression

Rahul Singh, Maneesh Sahani+1 more|arXiv (Cornell University)|Jun 1, 2019

Sparse and Compressive Sensing Techniques参考文献 55被引用数 5

ひとこと要約

本稿では、再現性ヒルバート空間（RKHS）を用いて、内生変数 $X$、結果変数 $Y$、および道具変数 $Z$ 間の関係をモデル化することで、2段階最小二乗法（2SLS）を一般化する非パラメトリック手法であるカーネルインストゥルメンタル変数回帰（KIV）を提案する。KIVは弱い仮定のもとで一貫性を達成し、最小最大最適収束速度を示す。理論的に最適な2段階間の学習サンプル数比についての保証を提供し、非線形因果推定において最先端の手法を上回る性能を発揮する。

ABSTRACT

Instrumental variable (IV) regression is a strategy for learning causal relationships in observational data. If measurements of input X and output Y are confounded, the causal relationship can nonetheless be identified if an instrumental variable Z is available that influences X directly, but is conditionally independent of Y given X and the unmeasured confounder. The classic two-stage least squares algorithm (2SLS) simplifies the estimation problem by modeling all relationships as linear functions. We propose kernel instrumental variable regression (KIV), a nonparametric generalization of 2SLS, modeling relations among X, Y, and Z as nonlinear functions in reproducing kernel Hilbert spaces (RKHSs). We prove the consistency of KIV under mild assumptions, and derive conditions under which convergence occurs at the minimax optimal rate for unconfounded, single-stage RKHS regression. In doing so, we obtain an efficient ratio between training sample sizes used in the algorithm's first and second stages. In experiments, KIV outperforms state of the art alternatives for nonparametric IV regression.

研究の動機と目的

• 変数間の関係が非線形である状況における因果推論のため、2段階最小二乗法（2SLS）の非パラメトリック拡張を開発すること。
• 非線形性や測定されていない交絡要因が存在する状況で線形2SLSに見られる限界を克服すること。
• 2段階のカーネルベースIV推定量に対して、理論的の一貫性と最適収束速度を提供すること。
• 最小最大最適性能を達成するための、第1段階と第2段階間の学習サンプルサイズ比の最適値を導出すること。
• KIVがSieveIV、SmoothIV、DeepIV、KernelIVといった既存手法に比べ、非線形および高次元設定で優れた性能を示すことを実証的に示すこと。

提案手法

• 第1段階で、RKHSにおける条件付き平均埋め込みを用いて、道具変数 $Z$ と内生変数 $X$ 間の関係をモデル化する。
• 第2段階で、第1段階の条件付き平均埋め込みを用いて、構造関数 $h(X) = \mathbb{E}[Y|X]$ をカーネルリッジ回帰で推定する。
• 無限次元のRKHSにおける安定性と収束を保証するため、両段階にTikhonov正則化を適用する。
• 条件付き平均埋め込み推定量の収束速度をRKHSノルムで導出し、古典的結果を無限次元空間に一般化する。
• 分布回帰からの技術を適応させることで、第1段階の収束速度を第2段階に組み込むことにより、エンドツーエンドの一貫性を確立する。
• 交差検証に類似したアルゴリズムを用いて、ハイパーパrameter（スケール長、正則化パrameter）を調整し、実効的性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非線形関係や測定されていない交絡要因が存在する状況でも、一貫性と最適収束速度を維持する非パラメトリック2SLSの一般化を構築できるか？
• RQ2 最小最大最適レートを達成するための、2段階カーネルベースIV回帰における第1段階と第2段階間の学習サンプルサイズ比の最適値は何か？
• RQ3 平均二乗誤差および関数形回復の観点から、KIVはSieveIV、SmoothIV、DeepIVといった既存の非パラメトリックIV手法に比べてどのように性能を発揮するか？
• RQ4 RKHSにおける条件付き平均埋め込みを用いることで、密度推定や基底関数近似に比べ、$X|Z$ 関係のよりロバストで柔軟な表現が可能になるか？
• RQ5 有限標本設定において、KIVは特にカーネルスケール長にどれほど感度を示すか？

主な発見

• KIVは、弱い正則性条件のもとで、無限次元のRKHSにおいても第2段階回帰について一貫性と最小最大最適収束速度を達成する。
• 理論的分析により、$X|Z$ と $Y|X$ の推定の相対的難易度に依存する、第1段階と第2段階間の最適な学習サンプルサイズ比が導出された。
• 線形設計では、KIVはTikhonov正則化を施したSieveIVと同等の性能を示し、カーネル選択が有限次元の基底関数法を模倣できることを示唆する。
• 非線形なシグモイド関数および需要関数設計では、KIVはすべてのサンプルサイズにおいて、DeepIV や SmoothIV を含むすべての競合手法を平均二乗誤差の観点で上回る。
• ロバストネス解析の結果、KIVはカーネルスケール長のチューニングに対して相対的に感度が低く、中央順序距離の中央値が信頼できるデフォルト設定であることが判明した。
• 実験的結果により、KIVが真の構造関数の形状を的確に回復できることを確認した。特に、他の手法が過学習や $X|Z$ の不適切なモデル化により失敗する非線形設定において顕著な優位性を示した。