[論文レビュー] Nonparametric Bootstrap Inference for the Targeted Highly Adaptive LASSO Estimator

Weixin Cai, Mark van der Laan|arXiv (Cornell University)|May 23, 2019

Statistical Methods and Inference参考文献 19被引用数 5

ひとこと要約

本稿では、交差検証選択子以上に大きな値に固定された断片的変動ノルムを備えた、Targeted Highly Adaptive LASSO Estimator (HAL-TMLE) に対するノンパラメトリックブートストラップ法を提案する。これにより、漸近的整合性が保証される。有限標本における信頼区間カバレッジを最適化するため、パラメータノルムのパラメータ選択にパラメータの平坦部検出法を導入し、平均処置効果および密度積分推定のシミュレーションにおいて、Wald型区間よりも優れた性能を示す。

ABSTRACT

The Highly-Adaptive-LASSO Targeted Minimum Loss Estimator (HAL-TMLE) is an efficient plug-in estimator of a pathwise differentiable parameter in a statistical model that at minimal (and possibly only) assumes that the sectional variation norm of the true nuisance functional parameters (i.e., the relevant part of data distribution) are finite. It relies on an initial estimator (HAL-MLE) of the nuisance functional parameters by minimizing the empirical risk over the parameter space under the constraint that the sectional variation norm of the candidate functions are bounded by a constant, where this constant can be selected with cross-validation. In this article, we establish that the nonparametric bootstrap for the HAL-TMLE, fixing the value of the sectional variation norm at a value larger or equal than the cross-validation selector, provides a consistent method for estimating the normal limit distribution of the HAL-TMLE. In order to optimize the finite sample coverage of the nonparametric bootstrap confidence intervals, we propose a selection method for this sectional variation norm that is based on running the nonparametric bootstrap for all values of the sectional variation norm larger than the one selected by cross-validation, and subsequently determining a value at which the width of the resulting confidence intervals reaches a plateau. We demonstrate our method for 1) nonparametric estimation of the average treatment effect based on observing on each unit a covariate vector, binary treatment, and outcome, and for 2) nonparametric estimation of the integral of the square of the multivariate density of the data distribution. In addition, we also present simulation results for these two examples demonstrating the excellent finite sample coverage of bootstrap-based confidence intervals.

研究の動機と目的

• HAL-TMLEのWald型信頼区間における悪い有限標本カバレッジを是正すること。これは、高次項の剰余項が大きいために反保守的になることがあるため。
• 断片的変動ノルムをデータ適応的値に固定することで、HAL-TMLEの真の標本分布を一貫して推定するブートストラップ法を開発すること。
• ブートストラップにおける有限標本の改善を図るため、断片的変動ノルムを平坦部検出法により選択する手法を提案し、信頼区間カバレッジを向上させること。
• 高次元設定下での平均処置効果および多次元密度積分の非パラメトリック推定において、本手法の有効性を示すこと。

提案手法

• ノンパラメトリックブートストラップでは、HAL-MLEの断片的変動ノルムを交差検証選択子以上に固定することで、HAL-TMLEのブートストラップ分布の整合性を保証する。
• この手法は、標本分布として経験分布を用い、MLEがパrameter空間の境界上に位置する場合でさえも、HAL-MLEのロバスト性を活用する。
• 平坦部選択子を提案する：断片的変動ノルムを交差検証選択子より大きなすべての値についてブートストラップを実行し、信頼区間幅が安定化（平坦部を形成）する値を選択する。
• 最終的な信頼区間は、ブートストラップ分布におけるバイアスと分散の両方を考慮した分散推定器を用いてスケーリングされる。
• 本手法は2つの応用例に適用される：非パラメトリックな平均処置効果推定および多次元密度の二乗積分の推定。
• 本手法はHAL-TMLEの漸近的効率性を継承し、HAL-MLEの収束が良好であるため、ブートストラップにおいても整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 断片的変動ノルムを交差検証選択子以上に固定した場合、HAL-TMLEの有限標本標本分布に対するノンパラメトリックブートストラップが、正規極限分布に対して漸近的に整合的であるか。
• RQ2 ブートストラップにおいて断片的変動ノルムの選択をどのように最適化すれば、有限標本における信頼区間カバレッジを向上させられるか。
• RQ3 提案された断片的変動ノルムの平坦部に基づく選択子は、直接交差検証選択子をブートストラップに用いる場合よりも優れたカバレッジをもたらすか。
• RQ4 高次元的・非パラメトリックな設定下で、ブートストラップに基づく推論はWald型推論と比較して、カバレッジおよび区間幅の点で優れているか。

主な発見

• 断片的変動ノルムを交差検証選択子以上に固定した場合、HAL-TMLEに対するノンパラメトリックブートストラップは、正規極限分布に対して漸近的に整合的である。
• 断片的変動ノルムの平坦部選択子は、平均処置効果および密度積分推定のシミュレーションにおいて、優れた有限標本カバレッジを実現する信頼区間をもたらす。
• ブートストラップ法は、高次確率的挙動を捉えることができ、有限標本における反保守的傾向を低減するため、Wald型区間を上回る性能を示す。
• 交差検証選択子が真の断片的変動ノルムを低めに推定する場合でも、平坦部に基づく修正により、本手法はロバスト性を保つ。
• ブートストラップ分布の近似誤差は、主に良好に振る舞う経験過程の有限標本分布をブートストラップがどれだけ正確に推定できるかに依存する。