[論文レビュー] Exploiting Independent Instruments: Identification and Distribution Generalization

Sorawit Saengkyongam, Leonard Henckel+2 more|arXiv (Cornell University)|Feb 3, 2022

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、因果推論を改善するため、道具変数と残差の独立性を利用した勾配ベースの推定器であるHSIC-XおよびHSIC-X-penを提案する。ヒルバート＝シュミット独立性基準（HSIC）を活用することで、有限標本における効率性が向上し、分布シフト下でも最悪ケース最適な性能を達成する。特に、識別不能な設定下でも有効である。

ABSTRACT

Instrumental variable models allow us to identify a causal function between covariates $X$ and a response $Y$, even in the presence of unobserved confounding. Most of the existing estimators assume that the error term in the response $Y$ and the hidden confounders are uncorrelated with the instruments $Z$. This is often motivated by a graphical separation, an argument that also justifies independence. Positing an independence restriction, however, leads to strictly stronger identifiability results. We connect to the existing literature in econometrics and provide a practical method called HSIC-X for exploiting independence that can be combined with any gradient-based learning procedure. We see that even in identifiable settings, taking into account higher moments may yield better finite sample results. Furthermore, we exploit the independence for distribution generalization. We prove that the proposed estimator is invariant to distributional shifts on the instruments and worst-case optimal whenever these shifts are sufficiently strong. These results hold even in the under-identified case where the instruments are not sufficiently rich to identify the causal function.

研究の動機と目的

• 道具変数と残差の独立性を活用する実用的な手法を開発し、因果推定を改善すること。
• 相関のない状態を超えた高次モーメント制約を組み込むことで、有限標本における性能を向上させること。
• 特に識別不能な設定下でも、道具変数の分布シフトに対して不変な推定器を構築すること。
• 勾配ベースの機械学習回帰手法と互換性のあるモジュラーフレームワークを提供すること。

提案手法

• 道具変数Zと残差Y−f(X)の間のヒルバート＝シュミット独立性基準（HSIC）を最小化することで、統計的独立性を強制するHSIC-Xを提案する。
• 特徴カーネル（例：ガウスカーネル）を用い、HSICがゼロになるのはZと残差が独立である場合に限ることを保証する。
• 最適化に確率的勾配降下法を用い、2SLSまたはOLSの解から初期化することで収束性を向上させる。
• Zに対する干渉に対しても最悪ケースロバスト性を最適化するための罰則付きバージョンであるHSIC-X-penを導入する。
• 任意の非パラメトリック回帰モデルとモジュラリティを保ちながら、勾配降下で訓練されるモデルと統合可能である。
• 推論のための信頼領域をブートストラップベースのアプローチにより提供する。

実験結果

リサーチクエスチョン

• RQ1 道具変数と残差の完全な独立性を活用することで、相関のない手法に比べて、有限標本における因果推定が改善可能か？
• RQ2 独立性に基づく推定は、古典的IV手法と比較して、効率性とロバスト性の面で優れているか？
• RQ3 因果関数が観察データから同定不能であっても、独立性制約によって分布ロバストな推定器を構築可能か？
• RQ4 有限標本における推定性能に、高次依存性が与える影響は何か？
• RQ5 道具変数の分布シフト下でも、独立性に基づく手法が標準的IV推定器を上回るか？

主な発見

• 分布シフト下でも、HSIC-XはARおよびOLSを上回る予測性能を示し、不変性と精度の最良のトレードオフを達成する。
• 教育と収入に関する実世界データでは、HSIC-Xは95%信頼区間（0.097–0.208）を示し、2SLSの（0.050–0.273）よりも狭く、OLS推定値（0.072）を含まない。これは、有限標本におけるより高い効率性を示している。
• HSIC-Xの信頼領域にはOLS推定値が含まれないため、独立性制約がより情報量の多い推論を可能にしていることが示唆される。
• HSIC-X-penは、識別不能な設定下でも、Zに対する干渉下で最悪ケース最適な性能を達成する。
• 実証結果から、残差と道具変数の高次依存性は、2次相関のない状況では不十分である場合に、推定性能の向上に活用可能であることが明らかになった。
• 本手法はモジュラーであり、勾配ベースの非パラメトリック回帰モデルと組み合わせ可能で、広範な適用性を有する。