[論文レビュー] Estimation and Uniform Inference in Sparse High-Dimensional Additive Models

Philipp Bach, Sven Klaaßen+2 more|arXiv (Cornell University)|Apr 3, 2020

Statistical Methods and Inference参考文献 33被引用数 5

ひとこと要約

本稿は、高次元スパース加法モデルにおける非パラメトリック成分の均一な推論手法を、高次元Z推定量フレームワーク内でのスイーブ推定量を用いて提案する。スパース性とデバイアス補正技術を活用することで、小標本でも信頼性のある被覆を保証する均一に有効な信頼区間を、第一成分 $ f_1 $ に対して構築する。最小限の高レベル仮定のもとで理論的保証が得られる。

ABSTRACT

We develop a novel method to construct uniformly valid confidence bands for a nonparametric component $f_1$ in the sparse additive model $Y=f_1(X_1)+\ldots + f_p(X_p) + \varepsilon$ in a high-dimensional setting. Our method integrates sieve estimation into a high-dimensional Z-estimation framework, facilitating the construction of uniformly valid confidence bands for the target component $f_1$. To form these confidence bands, we employ a multiplier bootstrap procedure. Additionally, we provide rates for the uniform lasso estimation in high dimensions, which may be of independent interest. Through simulation studies, we demonstrate that our proposed method delivers reliable results in terms of estimation and coverage, even in small samples.

研究の動機と目的

• 予測子の数 $ p $ が標本サイズ $ n $ とともに増加する高次元加法モデルにおいて、非パラメトリック成分の均一に有効な信頼区間を構築する課題に対処すること。
• lasso推定量に関する強い、検証不能な仮定に依存する既存手法の限界を克服し、点単位の推論しか提供しない問題を解決すること。
• 第一成分 $ f_1 $ の定義域全体にわたって信頼区間の均一有効性を保証する手法を開発すること、特に小標本でも有効であること。
• 均一lasso推定量のための技術的条件を明確にし、高次元設定における有効な推論を可能にするための検証方法を提示すること。
• 実データとシミュレーション研究を用いて、スパース高次元加法モデルにおける推論の実用的フレームワークを提供すること。

提案手法

• 非パラメトリック成分 $ f_j $ を基底関数展開（例：Bスプライン）を用いてスイーブ推定量で近似することで、高次元設定下でも非パラメトリックな柔軟性を実現する。
• 推定量を高次元Z推定量フレームワークに埋め込むことで、$ f_1 $ に対する漸近正規性および均一推論特性を導出し、関数空間全体にわたる有効な推論を保証する。
• 二重機械学習およびデバイアス付きlassoにインspiredしたデバイアス補正技術を用い、特にターゲット成分 $ f_1 $ における推定量のバイアスを是正する。
• 非ゼロ成分の数が $ s $ に制限されるスパース性仮定を採用することで、$ p $ が大きい場合でも推定量の計算と推論が可能であることを保証する。
• デバイアス付き推定量を用いて信頼区間を構築し、経験過程の均一な乖離とlasso推定量誤差の制御によって、均一な被覆性を保証する。
• Belloniら（2018）の理論的結果を活用して、推定量誤差の均一バウンドを導出し、高確率で $ \| \hat{f}_1 - f_1 \|_{L^2} \lesssim \sqrt{ s \log(a_n)/n } $ が成り立つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 $ p $ が $ n $ とともに増加する高次元スパース加法モデルにおいて、非パラメトリック成分 $ f_1 $ に対して均一に有効な信頼区間を構築することは可能か？
• RQ2 均一推論を保証するための最小限の技術的仮定は何か？ そして、それらは実際の応用でどのように検証可能か？
• RQ3 特に小標本において、被覆精度と推定量効率の観点から、本手法は既存手法と比べてどのように異なるか？
• RQ4 スパース性と高次元Z推定量フレームワークは、強い分布仮定やサポート仮定を必要としない状況で、どの程度信頼性のある推論を可能にするか？
• RQ5 本手法は、高次元の共変量と複雑な加法的構造を持つ実世界のデータ設定でも実用的に実装可能か？

主な発見

• シミュレーション研究により、本手法は小標本でも名目水準に近づく被覆確率を達成する均一に有効な信頼区間を実現することが確認された。
• スパース性および正則性条件のもとで、$ f_1 $ の推定量誤差は高確率で $ \| \hat{f}_1 - f_1 \|_{L^2} \lesssim \sqrt{ s \log(a_n)/n } $ と均一にバウンドされる。
• Kozbur（2015）のような、検証不能な高レベル仮定に依存する既存手法とは異なり、本手法は均一lasso推定量のための技術的要件を明確化・検証することで、仮定への依存を回避する。
• シミュレーション結果から、$ n = 100 $ かつ $ p = 150 $ の場合でも、被覆性と推定量の性質が良好に保たれ、有限標本におけるロバストネスが示された。
• 実データへの応用により、本手法の実用的妥当性と有用性が確認された。スムージングパラメータは加法的構造を尊重するヒューリスティックな交差検証手順により選択された。
• 本手法は、点単位の信頼区間ではなく、$ f_1 $ の定義域全体にわたって有効な区間を構築できる点で、既存手法を上回る均一推論の質を示した。