[论文解读] Efficient Estimation in Convex Single Index Models

Arun Kumar Kuchibhotla, Rohit K. Patra+1 more|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference被引用 9

一句话总结

本文提出了一种凸性和Lipschitz约束的最小二乘估计器（CLSE），用于单指数模型中未知凸链接函数的情形，使得在弱矩条件下的参数分量与非参数分量均可实现高效估计。当误差具有 $ q \geq 5 $ 阶矩且同方差时，该方法建立了 $ n^{-1/2} $ 阶渐近正态性与半参数效率。该方法在 R 包 simest 中实现了稳定计算。

ABSTRACT

We consider estimation and inference in a single index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least squares estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only $q \ge 2$ moments and are allowed to depend on the covariates. When $q\ge 5$, we establish $n^{-1/2}$-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. {We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package~ exttt{simest}}. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly.

研究动机与目标

• 开发一种计算稳定且高效的估计器，用于链接函数未知且为凸的单指数模型。
• 在误差矩条件较弱（$ q \geq 2 $）的假设下，建立估计器的一致性与收敛速率。
• 证明当误差具有 $ q \geq 5 $ 阶矩时，参数分量估计器的渐近正态性与半参数效率。
• 为证明半参数模型中效率提供一种几何框架，适用于不满足有效得分方程的模型。
• 实现一种数值鲁棒的算法以供实际应用，该算法已集成于 R 包 simest 中。

提出的方法

• 提出一种凸性和Lipschitz约束的最小二乘估计器（CLSE），用于同时估计参数指数向量与非参数凸链接函数。
• 对链接函数施加凸性与Lipschitz约束，以确保估计器的正则性与唯一性。
• 通过带约束的经验风险最小化推导CLSE，确保在 $ q \geq 2 $ 矩条件下的相合性。
• 采用几何方法证明半参数效率，避免了对有效得分方程的直接验证。
• 开发了一种数值稳定算法以计算CLSE，并在R包simest中实现，便于实际部署。
• 采用平滑与投影技术处理非参数分量，同时保持凸性与Lipschitz性质。

实验结果

研究问题

• RQ1 凸性和Lipschitz约束的最小二乘估计器是否可在链接函数未知且为凸的单指数模型中实现 $ n^{-1/2} $ 阶收敛与渐近正态性？
• RQ2 当误差仅有 $ q \geq 2 $ 阶矩且可能存在异方差时，CLSE的收敛速率如何？
• RQ3 在何种条件下CLSE具有半参数效率，特别是当误差同方差时？
• RQ4 是否可利用几何框架证明不满足有效得分方程的半参数模型中的效率？
• RQ5 如何在实际中高效且稳定地计算CLSE，以应用于真实世界的数据分析？

主要发现

• 在弱矩条件下，CLSE具有相合性与收敛速率，$ q \geq 2 $ 阶矩已足够保证相合性。
• 当误差具有 $ q \geq 5 $ 阶矩时，参数分量估计器达到 $ n^{-1/2} $ 阶收敛速率且渐近正态。
• 若误差同方差，CLSE即使未直接满足有效得分方程，也具有半参数效率。
• 本文提出的几何证明框架具有通用性，可推广至当前设定以外的其他半参数模型。
• 已实现一种数值稳定且计算高效的CLSE算法，并在R包simest中提供，可供实际使用。
• 大量模拟实验与数据分析验证了该估计器在有限样本下的稳健性与实际应用价值。