[論文レビュー] Least squares estimation in the monotone single index model

Fadoua Balabdaoui, Cécile Durot+1 more|arXiv (Cornell University)|Oct 19, 2016

Statistical Methods and Inference参考文献 20被引用数 10

ひとこと要約

本稿は、応答変数の条件付き平均が線形インデックスの単調なリッジ関数を通じて共変量ベクトルに依存する単調な単一インデックスモデルにおける最小二乗推定を研究する。正則性条件下で、提案された推定器は、バンドル済みおよび分離されたリッジ関数の両方において、$ L^2 $-ノルムで $ n^{1/3} $ のミニマックス最適収束速度を達成し、区分的定数リッジ関数に対してレート適応的である。

ABSTRACT

We study the monotone single index model where a real response variable $Y $ is linked to a $d$-dimensional covariate $X$ through the relationship $E[Y | X] = Ψ_0(α^T_0 X)$ almost surely. Both the ridge function, $Ψ_0$, and the index parameter, $α_0$, are unknown and the ridge function is assumed to be monotone on its interval of support. Under some regularity conditions, without imposing a particular distribution on the regression error, we show the $n^{-1/3}$ rate of convergence in the $\ell_2$-norm for the least squares estimator of the bundled function $ψ_0(α^T_0 \cdot),$ and also that of the ridge function and the index separately. Furthermore, we show that the least squares estimator is nearly parametrically rate-adaptive to piecewise constant ridge functions.

研究の動機と目的

• 形状制約の下で、完全にデータ駆動的でチューニングパラメータを必要としない単調な単一インデックスモデルの推定器を開発すること。
• リッジ関数およびインデックスパラメータの最小二乗推定器のミニマックス最適収束速度を確立すること。
• 推定器の区分的定数リッジ関数に対するレート適応性を調査すること。
• 代替インデックス推定器が $ n^{1/3} $-レートで収束する場合、それに対応するプラグイン推定器がリッジ関数に対して同じ $ n^{1/3} $ の収束速度を達成することを示すこと。
• この半パラメトリックモデルにおいて、最小二乗推定器が最適な収束速度を達成する理論的条件を提供すること。

提案手法

• $ E[Y|X] = \Psi_0(\alpha_0^T X) $ を満たす単調な単一インデックスモデルを定式化し、$ \Psi_0 $ は非減少であり、$ \|\alpha_0\| = 1 $ である。
• 形状制約を活用してチューニングパラメータを回避するため、バンドル関数 $ \Psi_0(\alpha_0^T \cdot) $ に対して最小二乗推定を適用する。
• 経験過程理論とエントロピーのバインディングを用いて関数クラスのエントロピーを制御し、エントロピー積分法を用いる。
• 経験過程の最大不等式とドンスカー型定理を用いて収束速度を導出する。
• ヴァン・デル・ヴァールトとウェルナー（1996）の定理3.2.5を適用し、エントロピーおよびメトリックエントロピーの条件の下で $ n^{1/3} $ のレートを導出する。
• 代替インデックス推定器が $ n^{1/3} $ のレートで収束する場合、対応するプラグイン最小二乗推定器もリッジ関数に対して $ n^{1/3} $ のレートで収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 単調な単一インデックスモデルにおけるリッジ関数の最小二乗推定器のミニマックス収束速度は何か？
• RQ2 単調性制約のおかげで、チューニングパラメータを必要とせずに最小二乗推定器が $ n^{1/3} $ のレートに達することができるか？
• RQ3 最小二乗推定器は区分的定数リッジ関数に対してレート適応的か？
• RQ4 代替インデックス推定器を用いたプラグインアプローチを用いる場合、リッジ関数推定器の収束速度は依然として $ n^{1/3} $ のままであるか？
• RQ5 この半パラメトリックモデルにおいて、最小二乗推定器が最適な収束速度を達成するための理論的条件は何か？

主な発見

• 正則性条件下で、バンドル済みリッジ関数 $ \Psi_0(\alpha_0^T \cdot) $ の最小二乗推定器は、$ L^2 $-ノルムで $ n^{1/3} $ のレートで収束する。
• 同じ条件下で、分離リッジ関数 $ \Psi_0 $ およびインデックスパラメータ $ \alpha_0 $ に対しても、同じ $ n^{1/3} $ のレートが達成される。
• 最小二乗推定器は、区分的定数リッジ関数に対してほぼパラメトリックなレート適応性を示し、関数の構造を事前に知らなくても $ n^{1/3} $ のレートを達成する。
• 代替インデックス推定器 $ \alpha_0 $ が $ n^{1/3} $ のレートで収束する場合、対応するプラグイン最小二乗推定器もリッジ関数に対して $ n^{1/3} $ のレートで収束する。
• 与えられたモデル仮定の下で収束速度はミニマックス最適であり、推定器は完全にデータ駆動的でチューニングパラメータを一切必要としない。
• 経験過程理論、エントロピーのバインディング、最大不等式を用いて理論的保証を導出し、ドンスカー型定理とエントロピー積分法を用いてレートを確立した。