[論文レビュー] VCNet and Functional Targeted Regularization For Learning Causal Effects of Continuous Treatments

Lizhen Nie, Mao Ye+2 more|arXiv (Cornell University)|Mar 14, 2021

Statistical Methods and Inference参考文献 40被引用数 15

ひとこと要約

本稿では、層の重みを処置レベルに連続的に変化させることで連続的処置をモデル化する新しいニューラルネットワークアーキテクチャ、VCNetを提案する。これにより、平均投与量応答関数（ADRF）の推定が連続的に行える。さらに、関数的ターゲット正則化を提案し、二重にロバストな推定量を構築することで、有限標本性能を向上させる。これらの手法を併用することで、合成データおよび実世界のデータセットにおいて最先端の性能を達成する。

ABSTRACT

Motivated by the rising abundance of observational data with continuous treatments, we investigate the problem of estimating the average dose-response curve (ADRF). Available parametric methods are limited in their model space, and previous attempts in leveraging neural network to enhance model expressiveness relied on partitioning continuous treatment into blocks and using separate heads for each block; this however produces in practice discontinuous ADRFs. Therefore, the question of how to adapt the structure and training of neural network to estimate ADRFs remains open. This paper makes two important contributions. First, we propose a novel varying coefficient neural network (VCNet) that improves model expressiveness while preserving continuity of the estimated ADRF. Second, to improve finite sample performance, we generalize targeted regularization to obtain a doubly robust estimator of the whole ADRF curve.

研究の動機と目的

• 観察データから連続的処置を伴う平均投与量応答関数（ADRF）を推定する課題に取り組み、推定曲線の連続性を保つこと。
• ブロックごとの処置分割に起因して不連続なADRF推定を生じる既存のニューラルネットワーク手法の限界を克服すること。
• 処置依存重みが処置レベルに連続的に変化するネットワーク構造を設計することで、モデルの表現力と処置情報の保持を向上させること。
• ターゲット正則化を関数的推定に一般化し、モデルの複雑さを制御しつつ、全ADRF曲線の二重にロバストな推定量を可能とすること。
• 合成データおよび半合成データセットにおいて、VCNetと関数的ターゲット正則化を併用することで、優れた経験的性能を達成すること。

提案手法

• 最終予測ヘッドの重みを処置変数の連続的関数としてパrameter化する、変化係数ニューラルネットワークであるVCNetを提案し、滑らかで連続的なADRF推定を保証する。
• 連続的活性化関数と処置依存重みモジュールを用いることで、高次元の共変量下でも出力ADRFが連続的であることを保証する。
• Bスプラインを用いた平滑化により、ターゲット正則化を関数的推定に一般化し、標本サイズに応じた正則化強度を制御することで、モデルの複雑さとロバストネスのバランスをとる。
• 結果モデルと感受性スコアモデルを組み合わせ、摂動に基づく正則化スキームを用いることで、ややいなごろしの正則性条件下でも一貫性を持つ全ADRF曲線の二重にロバストな推定量を構築する。
• 調整可能なノット数を持つBスプライン基底関数を用い、ターゲット正則化における摂動関数をモデル化することで、滑らかさと無限次元関数空間における有限次元制御を実現する。
• 800エポックの学習と複数のハイパーパramータ設定におけるチューニングを用いて、合成データおよび半合成データセットに本手法を適用し、堅牢な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 処置がパーティショニングされる場合でも、不連続性を生じさせない連続的ADRFを推定できるニューラルネットワークアーキテクチャを設計できるか？
• RQ2 標本推定から関数的推定へとターゲット正則化を一般化することで、ADRF推定における有限標本性能をどのように向上させられるか？
• RQ3 ニューラルネットワークと関数的正則化を用いて、全ADRF曲線の二重にロバストな推定量を構築できるか？
• RQ4 VCNetと関数的ターゲット正則化を併用することで、多様なデータセットにおいて既存のベースラインを常に上回る性能向上が達成できるか？
• RQ5 高次元の交絡要因やノイズの多い共変量下でも、特に処置または結果に関連する共変量のサブセットのみが関係する場合に、本手法はどのように性能を発揮するか？

主な発見

• VCNetは、図1における可視化比較により、滑らかな赤線（VCNet）と不連続な青線（DRNet）の対比から、連続的ADRF推定を実現していることが示された。
• VCNetと関数的ターゲット正則化の組み合わせは、合成データ、IHDP、Newsデータセットのすべてで一貫して最先端の性能を達成し、Causal Forest、BART、GPSベースラインを上回った。
• ハイパーパramータの選択に対して頑健であり、正則化パラメータαの感度が最小限に抑えられており、最適化の安定性が裏付けられた。
• 提案された関数的ターゲット正則化は、ややいなごろしの正則性仮定の下で一貫的かつ二重にロバストなADRF推定量を提供し、平滑化と標本サイズ依存の正則化強度によりモデルの複雑さを制御した。
• 本手法により、TMLEの関数的推定への一般化が初めて実現され、二重ロバスト性を備えた因果曲線全体の推定に新たなフレームワークを提供した。
• IHDPおよびNewsデータセットにおける経験的結果から、VCNetとターゲット正則化を併用したアプローチは、平均二乗誤差と曲線の忠実度において顕著な改善を示した。