[論文レビュー] Finite Sample Inference for Targeted Learning

Mark van der Laan|arXiv (Cornell University)|Aug 30, 2017

Advanced Causal Inference Techniques参考文献 20被引用数 3

ひとこと要約

本稿では、高次余剰項を考慮し、真の標本分布を推定するために非パラメトリックブートストラップを用いる、4つの有限標本推論手法を、高次適応的ラッソ（HAL）を用いた標的尤度推定（TMLE）に対して提案する。主な貢献は、理論的に正当化され、漸近的に一貫性を持つブートストラップ手法であり、正規近似に基づく推論に比べて、特に高次元または複雑なモデルにおいて有限標本の信頼性を向上させることにある。

ABSTRACT

The Highly-Adaptive-Lasso(HAL)-TMLE is an efficient estimator of a pathwise differentiable parameter in a statistical model that at minimal (and possibly only) assumes that the sectional variation norm of the true nuisance parameters are finite. It relies on an initial estimator (HAL-MLE) of the nuisance parameters by minimizing the empirical risk over the parameter space under the constraint that sectional variation norm is bounded by a constant, where this constant can be selected with cross-validation. In the formulation of the HALMLE this sectional variation norm corresponds with the sum of absolute value of coefficients for an indicator basis. Due to its reliance on machine learning, statistical inference for the TMLE has been based on its normal limit distribution, thereby potentially ignoring a large second order remainder in finite samples. In this article, we present four methods for construction of a finite sample 0.95-confidence interval that use the nonparametric bootstrap to estimate the finite sample distribution of the HAL-TMLE or a conservative distribution dominating the true finite sample distribution. We prove that it consistently estimates the optimal normal limit distribution, while its approximation error is driven by the performance of the bootstrap for a well behaved empirical process. We demonstrate our general inferential methods for 1) nonparametric estimation of the average treatment effect based on observing on each unit a covariate vector, binary treatment, and outcome, and for 2) nonparametric estimation of the integral of the square of the multivariate density of the data distribution.

研究の動機と目的

• 正規近似に基づく推論の限界を是正すること。これは、高次余剰項が大きい場合に有限標本で不正確になる可能性があるためである。
• モデルの複雑さや高次元データに対してロバストな、HAL-TMLEの有限標本信頼区間を構築すること。
• 弱い正則性条件の下で、HAL-TMLEの真の標本分布を推定する非パラメトリックブートストラップ手法の理論的妥当性を確立すること。
• ブートストラップがHAL-MLEの漸近的挙動を保ち、Wald型信頼区間と比較して推論の正確性を向上させることを示すこと。
• 断面変動ノルムがスパarsityの尺度として果たす役割と、それが推論性能に与える影響を調査すること。

提案手法

• 本稿では、交差検証による断面変動ノルムの上限を固定したものとして扱い、非パラメトリックブートストラップを用いてHAL-TMLeの有限標本分布を推定する。
• 4つのブートストラップに基づく推論手法を提案する：2つは真の標本分布を推定するためのものであり、2つは真の分布を支配する保守的バージョンである。
• この手法は、断面変動ノルムが有界であると仮定したHAL-MLEを、交差検証によって選択されたヌイアンスパラメータの推定に用いる。
• 標的パラメータの正規化勾配（インフルエンスカーブ）を用いて、HAL-TMLEの漸近的線形展開を定義する。
• HAL-TMLEの正確な2次展開にブートストラップを適用することで、その標本分布を直接推定するが、これにより置換推定量の性質を失う。
• 弱い正則性条件の下で、ブートストラップの理論的一貫性を証明し、近似誤差は、ブートストラップが良好に振る舞う経験的過程への性能に依存する。

実験結果

リサーチクエスチョン

• RQ1 高次余剰項が大きい場合でも、非パラメトリックブートストラップは、HAL-TMLEの真の有限標本分布を一貫して推定できるか？
• RQ2 交差検証によって選択された断面変動ノルムの上限の選択が、HAL-TMLE推論の有限標本性能に与える影響は何か？
• RQ3 ブートストラップに基づく推論は、漸近的正規性に依存する標準的なWald型信頼区間を上回る性能を示すか？
• RQ4 断面変動ノルムが、高次元非パラメトリックモデルにおけるロバストで適応的推論を可能にするスパarsityの尺度として果たす役割は何か？
• RQ5 ブートストラップは、縦断的因果推論で用いられる逐次的または再帰的HAL-TMLEへ拡張可能か？

主な発見

• 非パラメトリックブートストラップは、HAL-TMLEの最適な正規極限分布を一貫して推定する。近似誤差は、ブートストラップが経験的過程に対して果たす性能に支配される。
• ブートストラップは、ヌイアンスパラメータのHAL-MLEの漸近的挙動を保ち、その推論への適用に理論的根拠を提供する。
• 提案された保守的ブートストラップ手法は、真の有限標本分布を支配する。したがって、真の断面変動ノルムが過小評価されても、有効なカバレッジを保証する。
• ブートストラップに基づく有限標本信頼区間は、正規近似に基づく区間よりも正確であり、特にヌイアンスパラメータ空間が大きい高次元設定で顕著に優位である。
• 断面変動ノルムは、基底に依存しない強力なスパarsityの尺度として機能し、弱い正則性条件の下で適応的かつロバストな推定と推論を可能にする。
• 無限個の指示関数の線形結合による関数のインジケータ基底表現は、複雑さの定義に特に適しており、効率的なMLEと正当なブートストラップ推論を可能にする。