[論文レビュー] Instrumental Variables in Causal Inference and Machine Learning: A Survey

Anpeng Wu, Kun Kuang+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Causal Inference Techniques被引用数 5

ひとこと要約

本調査は、因果推論と機械学習における道具変数（IV）手法について包括的な概要を提供し、線形および非線形モデルにおける2段階最小二乗法（2SLS）、制御関数（CFN）、IV評価の3つの手法を体系的に分類している。IV適用における主な課題、たとえば有効なIVの同定や測定されていない交絡要因の影響を特定し、今後の研究方向性として、データ駆動型のIV同定や交絡要因制御との統合を提案している。

ABSTRACT

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

研究の動機と目的

• 測定されていない交絡要因の影響により、従来の相関ベースの機械学習モデルが分布外一般化に限界を示す問題を解決すること。
• 観察データにおける因果推論のための道具変数（IV）手法の体系的レビューを提供すること、特に測定されていない交絡要因が存在する状況を想定して。
• 古典的因果推論と現代の機械学習を統合するために、非線形および高次元モデルにIV手法を組み込むこと。
• IV適用における未解決問題、たとえば有効なIVの同定や厳密なIV仮定の緩和を特定すること。
• 専用のツールキットを用いてベンチマークデータセットとオープンソース実装を収集することで、再現性を促進すること。

提案手法

• IV手法を3つの流れに分類：IVを用いた2段階最小二乗法（2SLS）、IVを用いた制御関数（CFN）、IV有効性の評価。
• 線形および非線形モデルにおける古典的2SLSおよびCFN推定器のレビュー。vanilla 2SLS、シーブ推定器、非線形性への機械学習ベースの2SLSを含む。
• IV同定のための構造的仮定の導入：関連性（IVが処置に影響を与える）、除外制約（IVが結果に処置を介してのみ影響を与える）、交換不能性（結果とは共通原因を持たない）。
• 条件付き独立性検定および因果発見アルゴリズムを用いた、有効なIVをデータ駆動型で同定するアプローチの提案。
• ドメイン適応のためのDRIVEフレームワークや、敵対的ロバストネスのためのCiiVフレームワークを導入し、IVを用いてドメイン不変の表現を学習する。
• 小規模なRCTと大規模な観察データを統合するデータファージョン戦略を提案し、IVが利用できない状況でも交絡バイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 従来の交換不能性仮定が成立しない状況下で、測定されていない交絡要因が存在する場合に、道具変数をどのようにして因果効果を推定するために用いることができるか？
• RQ2 非線形および高次元の機械学習モデルへのIVの適用における主な手法的進展は何か？
• RQ3 統計的および因果発見技術を用いて、観察データから有効な道具変数を自動的に同定する方法は何か？
• RQ4 現在のIV仮定（例：除外制約）の限界は何か？また、中間変数や測定されていない交絡要因の回復を用いて、それらをどのように緩和できるか？
• RQ5 IVベースの手法を交絡要因制御およびデータファージョンと統合することで、実世界の因果推論におけるロバストネスをどのように向上させられるか？

主な発見

• 2段階最小二乗法（2SLS）および制御関数（CFN）手法は、IV推定の基盤のままであり、非線形および高次元応用を可能にする現代的な拡張がなされている。
• 機械学習を活用した2SLSおよびCFN推定器は、推薦システムやコンピュータビジョンなどの複雑な非線形設定において、因果効果推定を著しく改善している。
• 条件付き独立性検定および因果発見アルゴリズムを用いることで、有効なIVを同定可能であり、自動IV同定への道筋を提供している。
• 除外制約仮定は、最も困難で検証が不可能であり、強い分野知識または構造的モデリングが求められる。
• 小規模なRCTと大規模な観察データの統合により、有効なIVが存在しない場合でも強固な因果推論が可能になる。
• 広告、医学、強化学習、コンピュータビジョンにおける実世界の応用事例は、IV手法がモデルの安定性および解釈可能性を向上させる実用的価値を示している。