[论文解读] A relative error estimation approach for single index model

Zhanfeng Wang, Zimu Chen+1 more|arXiv (Cornell University)|Sep 6, 2016

Statistical Methods and Inference参考文献 14被引用 4

一句话总结

本文提出了一种用于单 index 模型的最小乘积相对误差（LPRE）估计方法，采用两阶段程序估计索引系数和连接函数。该方法具有尺度不变性且稳健，在模拟和真实数据（体脂研究）中表现优于最小二乘法，且已建立渐近一致性和正态性。

ABSTRACT

A product relative error estimation method for single index regression model is proposed as an alternative to absolute error methods, such as the least square estimation and the least absolute deviation estimation. It is scale invariant for outcome and covariates in the model. Regression coefficients are estimated via a two-stage procedure and their statistical properties such as consistency and normality are studied. Numerical studies including simulation and a body fat example show that the proposed method performs well.

研究动机与目标

• 为解决单 index 模型中缺乏基于相对误差的估计方法的问题，尽管该模型应用广泛，但目前多依赖于绝对误差方法。
• 开发一种尺度不变的估计方法，对异常值具有鲁棒性，适用于金融和生存分析中常见的正值响应变量。
• 在最小乘积相对误差准则下，建立所提估计量的渐近性质——一致性与正态性。
• 通过模拟和真实体脂数据集，展示该方法的实证性能。

提出的方法

• 提出最小乘积相对误差（LPRE）准则，结合对响应变量和预测值的相对误差，确保尺度不变性。
• 采用两阶段估计程序：首先通过局部线性平滑估计连接函数及其导数，然后在索引系数上最小化 LPRE 准则。
• 使用核加权局部线性回归估计未知连接函数 $ g $ 及其导数 $ g' $，带宽选择通过 $ h $ 确定。
• 通过分析影响函数并围绕真实参数进行泰勒展开，推导估计量的渐近正态性与一致性。
• 通过使用 $ \beta^{(r)} $ 进行重新参数化，以确保估计过程中的可识别性与稳定性。
• 通过严格的经验过程与鞅型论证，建立理论收敛速率与渐近分布。

实验结果

研究问题

• RQ1 能否将基于相对误差的估计方法有效扩展至单 index 模型，该模型相较于线性模型更具灵活性？
• RQ2 所提出的最小乘积相对误差（LPRE）准则是否能产生索引系数与连接函数的一致且渐近正态的估计量？
• RQ3 在模型误设或重尾误差下，LPRE 方法相较于传统最小二乘估计在稳健性与效率方面表现如何？
• RQ4 所提方法是否具有尺度不变性且对异常值具有鲁棒性，尤其在金融或生存分析等正值结果的应用中？

主要发现

• 在正则条件下，所提 LPRE 估计量具有相合性与渐近正态性，收敛速率为 $ \sqrt{n} $。
• 该方法具有尺度不变性，即对响应变量或协变量的乘法变换不敏感，提升了可解释性与稳健性。
• 模拟研究显示，LPRE 方法在均方误差与相对误差方面优于最小二乘法，尤其在重尾误差分布下表现更优。
• 在体脂数据集中，LPRE 方法在高杠杆点存在时提供了更稳定、更精确的预测，优于最小二乘法。
• 理论分析证实，误差项对估计量的影响有界，支持其对异常值的鲁棒性。