[論文レビュー] Uniform Consistency of the Highly Adaptive Lasso Estimator of Infinite Dimensional Parameters

Mark J. van der Laan, Aurélien Bibaut|arXiv (Cornell University)|Sep 19, 2017

Stochastic processes and financial applications参考文献 1被引用数 6

ひとこと要約

この論文は、弱い連続性条件の下で無限次元パラメータに対する Highly Adaptive Lasso (HAL) 評価器の一様一貫性を確立し、先行研究の高速収束速度の結果を拡張している。HAL 評価器は、有界 Variation 範囲を持つ cadlag 関数のクラス上で経験的リスクを最小化するものであり、正則性条件のもとで、滑らかさの仮定が有限 Variation を超えてない非パラメトリックモデルであっても、真のパラメータ関数に一様に収束する。

ABSTRACT

Consider the case that we observe $n$ independent and identically distributed copies of a random variable with a probability distribution known to be an element of a specified statistical model. We are interested in estimating an infinite dimensional target parameter that minimizes the expectation of a specified loss function. In \cite{generally_efficient_TMLE} we defined an estimator that minimizes the empirical risk over all multivariate real valued cadlag functions with variation norm bounded by some constant $M$ in the parameter space, and selects $M$ with cross-validation. We referred to this estimator as the Highly-Adaptive-Lasso estimator due to the fact that the constrained can be formulated as a bound $M$ on the sum of the coefficients a linear combination of a very large number of basis functions. Specifically, in the case that the target parameter is a conditional mean, then it can be implemented with the standard LASSO regression estimator. In \cite{generally_efficient_TMLE} we proved that the HAL-estimator is consistent w.r.t. the (quadratic) loss-based dissimilarity at a rate faster than $n^{-1/2}$ (i.e., faster than $n^{-1/4}$ w.r.t. a norm), even when the parameter space is completely nonparametric. The only assumption required for this rate is that the true parameter function has a finite variation norm. The loss-based dissimilarity is often equivalent with the square of an $L^2(P_0)$-type norm. In this article, we establish that under some weak continuity condition, the HAL-estimator is also uniformly consistent.

研究の動機と目的

• 非パラメトリック統計的モデルにおける無限次元パラメータに対する Highly Adaptive Lasso (HAL) 評価器の一様一貫性を確立すること。
• HAL 評価器の高速収束速度に関する先行結果を、弱い連続性条件の下での一様収束にまで拡張すること。
• 真のパララメータ関数が連続点でHAL 評価器が点別収束することから、真のパララメータが連続であれば一様収束が導かれるということを示すこと。
• 高次元で滑らかさの仮定を最小限にした非パラメトリック設定におけるHAL 評価器のロバスト性と効率性の理論的裏付けを提供すること。

提案手法

• HAL 評価器は、一様に有界な Variation 範囲を持つ cadlag 関数のクラス上で経験的リスク $ P_n L( heta) $ を最小化するものとして定義される。
• Variation 範囲は、座標の部分集合における積分の和として表現され、これにより指標基底関数の線形展開が可能になる。
• 基底関数の係数に Lasso 形式のペナルティを適用し、真の Variation 範囲の知識が不要となるように、バインド $ M $ は交差検証により選択される。
• 点別収束が真のパラメータの連続点で成立することを証明した後、真のパラメータの連続性と Heine の定理を用いて一様収束を確立することで、一様一貫性を示した。
• 証明は、Hahn の分解を用いて測度の連続成分と離散成分を分離し、損失に基づく不一致度の収束を用いて点別収束を導出する。
• 重要な技術的ステップとして、極限の連続点における測度の収束が、極限が連続であれば全 Variation での収束を意味することを用いる。これは、真のパラメータが連続である場合の一様収束の根拠となる。

実験結果

リサーチクエスチョン

• RQ1 HAL 評価器が無限次元パラメータに対して一様一貫性を示す条件は何か？
• RQ2 真のパラメータの滑らかさを仮定せず、有限 Variation を超えない場合でも、一様一貫性を確立できるか？
• RQ3 真のパラメータの連続点におけるHAL 評価器の点別収束が、どのように一様収束に導くか？
• RQ4 真のパラメータ関数の連続性が、HAL 評価器の一様収束を保証するために果たす役割は何か？
• RQ5 パrameter 空間が非パラメトリックで、真の関数が有限 Variation のみを満たす場合でも、HAL 評価器は一様一貫性を示すか？

主な発見

• 弱い連続性条件のもとで、真のパラメータが有限 Variation 範囲のみを満たす非パラメトリックモデルであっても、HAL 評価器は一様一貫性を示す。
• 真のパラメータが連続であれば、真のパラメータの連続点における点別収束から一様収束が導かれる。
• 証明は、極限の連続点における測度の収束が、極限が連続であれば一様収束を意味することを根拠としており、Heine の定理を用いる。
• HAL 評価器は損失に基づく不一致度において $ n^{-1/2} $ より速い収束速度を達成し、真のパラメータが連続であれば、この速度が一様一貫性に反映される。
• パrameter 空間が Variation 範囲が有界な cadlag 関数の全非パラメトリッククラスであっても、評価器は一様一貫性を保つ。
• 結果は最小限の仮定の下で成り立つ：損失関数が有界であること、真のパラメータの Variation が有限であること、真のパラメータ関数が連続であること。