[论文解读] Least squares estimation in the monotone single index model

Fadoua Balabdaoui, Cécile Durot+1 more|arXiv (Cornell University)|Oct 19, 2016

Statistical Methods and Inference参考文献 20被引用 10

一句话总结

该论文研究了单调单 index 模型中的最小二乘估计，其中响应变量的条件均值通过线性指数的单调岭函数依赖于协变量向量。在正则性条件下，所提出的估计器在 $ L^2 $-范数下对捆绑式和孤立式岭函数均达到 $ n^{1/3} $ 的极小极大最优收敛速率，且对分段常数岭函数具有速率自适应性。

ABSTRACT

We study the monotone single index model where a real response variable $Y $ is linked to a $d$-dimensional covariate $X$ through the relationship $E[Y | X] = Ψ_0(α^T_0 X)$ almost surely. Both the ridge function, $Ψ_0$, and the index parameter, $α_0$, are unknown and the ridge function is assumed to be monotone on its interval of support. Under some regularity conditions, without imposing a particular distribution on the regression error, we show the $n^{-1/3}$ rate of convergence in the $\ell_2$-norm for the least squares estimator of the bundled function $ψ_0(α^T_0 \cdot),$ and also that of the ridge function and the index separately. Furthermore, we show that the least squares estimator is nearly parametrically rate-adaptive to piecewise constant ridge functions.

研究动机与目标

• 在形状约束下，为单调单 index 模型开发一种完全数据驱动、无需调参的估计器。
• 建立岭函数和指数参数的最小二乘估计器的极小极大最优收敛速率。
• 研究估计器对分段常数岭函数的速率自适应性。
• 证明基于其他具有 $ n^{1/3} $ 速率的指数估计器的插值估计器，其岭函数估计器仍保持 $ n^{1/3} $ 的收敛速率。
• 为在底层函数满足单调性和光滑性条件时，最小二乘估计器的收敛性提供理论保证。

提出的方法

• 将单调单 index 模型表述为 $ E[Y|X] = \Psi_0(\alpha_0^T X) $，其中 $ \Psi_0 $ 为非减函数且 $ \|\alpha_0\| = 1 $。
• 对捆绑函数 $ \Psi_0(\alpha_0^T \cdot) $ 应用最小二乘估计，利用形状约束避免调参。
• 采用经验过程理论和熵界控制函数类的熵，使用熵积分法。
• 利用 Donsker 型定理和经验过程的最大不等式推导收敛速率。
• 应用 van der Vaart 和 Wellner (1996) 的定理 3.2.5，在熵条件和度量熵条件下推导出 $ n^{1/3} $ 速率。
• 证明：若其他指数估计器以 $ n^{1/3} $ 速率收敛，则相应的插值最小二乘估计器对岭函数也以 $ n^{1/3} $ 速率收敛。

实验结果

研究问题

• RQ1 在单调单 index 模型中，岭函数最小二乘估计器的极小极大收敛速率是什么？
• RQ2 由于单调性约束，最小二乘估计器是否能在无需调参的情况下实现 $ n^{1/3} $ 收敛速率？
• RQ3 最小二乘估计器是否对分段常数岭函数具有速率自适应性？
• RQ4 当使用具有 $ n^{1/3} $ 速率的替代指数估计器进行插值方法时，岭函数估计器的收敛速率是否仍为 $ n^{1/3} $？
• RQ5 在该半参数模型中，最小二乘估计器在何种理论条件下可实现最优收敛速率？

主要发现

• 在正则性条件下，捆绑式岭函数 $ \Psi_0(\alpha_0^T \cdot) $ 的最小二乘估计器在 $ L^2 $-范数下以 $ n^{1/3} $ 速率收敛。
• 在相同条件下，孤立式岭函数 $ \Psi_0 $ 和指数参数 $ \alpha_0 $ 的估计器也达到相同的 $ n^{1/3} $ 收敛速率。
• 最小二乘估计器对分段常数岭函数近乎具有参数速率自适应性，即在不预先知晓函数结构的情况下仍能达到 $ n^{1/3} $ 速率。
• 若其他指数 $ \alpha_0 $ 估计器以 $ n^{1/3} $ 速率收敛，则相应的插值最小二乘估计器对岭函数也以 $ n^{1/3} $ 速率收敛。
• 在给定模型假设下，收敛速率是极小极大最优的，且估计器完全数据驱动，无需调参。
• 理论保证通过经验过程理论、熵界和最大不等式推导得出，速率通过 Donsker 型定理和熵积分法建立。