[論文レビュー] Deep Learning Methods for Proximal Inference via Maximum Moment Restriction

Benjamin Kompa, David R. Bellamy+3 more|arXiv (Cornell University)|May 19, 2022

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、測定されない交絡要因のもとで因果効果を推定するための深層学習手法であるニューラル最大モーメント制約（NMMR）を提案する。NMMRは、最大モーメント制約（MMR）フレームワークから導出されたU統計量またはV統計量の損失関数を最小化することで、因果効果を推定する。NMMRは、プロキシ変数にノイズが含まれる状況でも優れた性能を示し、プロキシノイズの高い状況でも、カーネルベースおよびニューラルネットワークベースのベースラインを上回る。また、理論的整合性の保証も得られており、プロキシスケーリングのベンチマークにおいて最先端の性能を達成している。

ABSTRACT

The No Unmeasured Confounding Assumption is widely used to identify causal effects in observational studies. Recent work on proximal inference has provided alternative identification results that succeed even in the presence of unobserved confounders, provided that one has measured a sufficiently rich set of proxy variables, satisfying specific structural conditions. However, proximal inference requires solving an ill-posed integral equation. Previous approaches have used a variety of machine learning techniques to estimate a solution to this integral equation, commonly referred to as the bridge function. However, prior work has often been limited by relying on pre-specified kernel functions, which are not data adaptive and struggle to scale to large datasets. In this work, we introduce a flexible and scalable method based on a deep neural network to estimate causal effects in the presence of unmeasured confounding using proximal inference. Our method achieves state of the art performance on two well-established proximal inference benchmarks. Finally, we provide theoretical consistency guarantees for our method.

研究の動機と目的

• 事前に指定されたカーネル関数に依存する既存のプロキシスケーリング手法の限界、すなわちデータ適応性の欠如とスケーラビリティの低さを解決すること。
• 測定されない交絡要因が存在する状況でも、平均潜在的アウトカムを推定するための柔軟でスケーラブルな深層学習フレームワークを構築すること。
• プロキシ変数がノイズで汚染されている状況でも、因果効果推定のロバスト性と効率性を向上させること。
• ニューラルネットワークベースのアプローチにおけるプロキシスケーリング推定の理論的整合性を保証すること。
• 標準的なベンチマーク上で手法を検証し、プロキシノイズの異なるレベルにおいて優れた性能を示すこと。

提案手法

• 最大モーメント制約（MMR）フレームワークから導出されたU統計量またはV統計量の損失関数を最小化する、1段階の深層ニューラルネットワークアプローチ、NMMRを提案する。
• プロキシスケーリングの仮定のもとで平均潜在的アウトカムを同定するのに必要なブリッジ関数を、ニューラルネットワークを用いて推定する。
• 確率的勾配降下法を用いて損失関数を最適化し、大規模データセットへのスケーラビリティを実現する。
• U統計量とV統計量の両方の定式化を適用し、NMMR-Vはプロキシノイズに対してより高いロバスト性を示す。
• 深層ネットワークによるデータ適応的特徴抽出を実装し、従来の手法で見られる固定カーネル関数の制限を克服する。
• 標準的な正則性条件のもとで理論的整合性の保証を提供し、推定量の漸近的妥当性を確立する。

実験結果

リサーチクエスチョン

• RQ1 測定されない交絡要因のもとで、プロキシスケーリング推定においてブリッジ関数を効果的に推定するために、深層ニューラルネットワークを用いることは可能か？
• RQ2 カーネルベースおよび2段階回帰手法と比較して、ニューラルネットワークベースのMMR手法は、プロキシスケーリング設定においてどの程度の性能を示すか？
• RQ3 プロキシ変数がノイズで汚染されている場合、提案手法はどの程度のロバスト性を保つのか？
• RQ4 データ適応的ニューラルネットワークの使用は、固定カーネル手法と比較して推定効率を向上させるか？
• RQ5 プロキシスケーリングフレームワークにおける深層学習ベースのMMR推定量の理論的整合性の性質は何か？

主な発見

• 需要実験において、NMMR-Vは全ノイズレベルで最小の因果MSE（c-MSE）を達成し、プロキシノイズに対して優れたロバスト性を示した。
• NMMRは、Naive Netベースラインを一貫して上回り、U統計量およびV統計量の損失関数が推定精度の向上に寄与していることを確認した。
• カーネルベース手法（KPVおよびPMMR）は、高ノイズレベルで性能が向上したが、これはデータ適応性の低さと分散の低減によるものと推察される。
• 驚くべきことに、Zプロキシ（Z1, Z2）にノイズを増加させたところ、いくつかの手法でc-MSEが低下した。これは、ノイズの多いZプロキシが情報量が少ないプロキシに依存するのを減らし、より情報量の多いWプロキシに注目を向けるようになる可能性を示唆している。
• 需要シミュレーションにおいて72通りのノイズレベルの組み合わせを評価したが、NMMR-Vは最大ノイズレベルでも低誤差を維持し、優れた性能を示した。
• 標準的な正則性条件のもとで、NMMR推定量の理論的整合性が確立され、その漸近的妥当性が裏付けられた。