[論文レビュー] Deep Generalized Method of Moments for Instrumental Variable Analysis

Andrew Bennett, Nathan Kallus+1 more|arXiv (Cornell University)|May 29, 2019

Statistical Methods and Inference参考文献 33被引用数 31

ひとこと要約

本稿では、高次元の処置およびインストゥルメンタル変数（IV）を扱えるようにするため、最適重み付け一般化方法のモーメント（GMM）の変分的再定式化を活用した深層学習ベースの手法、DeepGMMを提案する。IV推定を予測ネットワーク（因果的応答をモデル化）とクリティックネットワーク（モーメント条件を評価）の間の滑らかなゼロサムゲームとして定式化することで、DeepGMMは一貫した因果推定を達成し、計算的または統計的に失敗する他の手法とは異なり、高次元設定でも優れた性能を発揮する。

ABSTRACT

Instrumental variable analysis is a powerful tool for estimating causal effects when randomization or full control of confounders is not possible. The application of standard methods such as 2SLS, GMM, and more recent variants are significantly impeded when the causal effects are complex, the instruments are high-dimensional, and/or the treatment is high-dimensional. In this paper, we propose the DeepGMM algorithm to overcome this. Our algorithm is based on a new variational reformulation of GMM with optimal inverse-covariance weighting that allows us to efficiently control very many moment conditions. We further develop practical techniques for optimization and model selection that make it particularly successful in practice. Our algorithm is also computationally tractable and can handle large-scale datasets. Numerical results show our algorithm matches the performance of the best tuned methods in standard settings and continues to work in high-dimensional settings where even recent methods break.

研究の動機と目的

• 2SLS や GMM などの伝統的IV手法が高次元の処置およびインストゥルメンタル変数を扱う際の限界を解消すること。
• 近年の深層IV手法（例：DeepIV, AGMM）が高次元状況で計算的・統計的に崩壊する問題を克服すること。
• モーメント条件を用いた内生性下での因果推論に適したスケーラブルで、取り扱いやすく、一貫性のある深層学習フレームワークを構築すること。
• 高次元または複雑なインストゥルメンタル変数を伴う設定において、ニューラルネットワークを用いて複雑で非線形な因果効果を効果的に推定すること。

提案手法

• 多数のモーメント条件を効率的に処理できるように、最適重み付けGMMの変分的再定式化を提案する。
• IV推定を、因果的応答をモデル化する予測ネットワークとモーメント条件を評価するクリティックネットワークの間の滑らかなゼロサムゲームとして定式化する。
• ゲームの安定的最適化を実現するため、楽観的勾配降下法を用い、近似均衡への収束を保証する。
• 統計的効率性を向上させるために、GMM目的関数に最適な分散共分散行列の逆行列重み付けを導入する。
• 高次元設定におけるハイパーパrameter選定およびモデル検証の実用的技術を導入する。
• 非パラメトリックおよび高次元表現を含む、複雑な因果効果の柔軟なモデリングをニューラルネットワークを用いて実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、インストゥルメンタル変数分析における高次元の処置およびインストゥルメンタル変数を効果的に処理できるか？
• RQ2 最適GMM重み付けを、微分可能でスケーラブルな深層学習フレームワークに効率的に統合できるか？
• RQ3 予測ネットワークとクリティックネットワークの間の滑らかなゲーム定式化は、複雑で高次元な設定において一貫的かつ効率的な因果推定をもたらすか？
• RQ4 本手法は、低次元および高次元のベンチマークにおいて、既存の深層IVおよびGMMベースの手法を上回る性能を発揮するか？
• RQ5 高次元IV推定で一般的に見られる計算的障害および数値的不安定性に対して、本手法はどれほど頑健か？

主な発見

• DeepGMMは、低次元および高次元設定を含むすべてのテスト状況で最小の平均二乗誤差（MSE）を達成した。
• MNIST Z、MNIST X、および MNIST X,Z の状況では、DeepIV や Vanilla2SLS を含むすべての他の手法を上回った。
• DeepIV はガウス・ミックスモデルの制限により高次元設定で収束しなかったが、DeepGMM は安定的かつ計算的に取り扱えるままであった。
• AGMM および Poly2SLS はオーバーフローと計算的不安定性のため実行できなかったが、DeepGMM は大規模な画像ベースのデータセットを正常に処理できた。
• 最近の深層IV手法ですら崩壊する高次元設定でも、DeepGMM は優れたスケーラビリティと頑健性を示した。
• 本手法は計算的にも効率的であり、28×28 の MNIST 画像を入力として効果的に処理でき、現実の高次元データへの適用可能性を示した。