[论文解读] Case-Deletion Diagnostics for Quantile Regression Using the Asymmetric Laplace Distribution

Luis Benites, Víctor H. Lachos+1 more|arXiv (Cornell University)|Sep 17, 2015

Statistical Methods and Inference参考文献 25被引用 5

一句话总结

本文提出一种基于似然的分位数回归方法，利用非对称拉普拉斯分布（ALD）和EM算法进行最大似然估计，通过完整数据对数似然的条件期望实现删失案例诊断。该方法在经典估计器基础上提升了稳健性和效率，在模拟研究和真实数据研究中表现出优越性。

ABSTRACT

To make inferences about the shape of a population distribution, the widely popular mean regression model, for example, is inadequate if the distribution is not approximately Gaussian (or symmetric). Compared to conventional mean regression (MR), quantile regression (QR) can characterize the entire conditional distribution of the outcome variable, and is more robust to outliers and misspecification of the error distribution. We present a likelihood-based approach to the estimation of the regression quantiles based on the asymmetric Laplace distribution (ALD), which has a hierarchical representation that facilitates the implementation of the EM algorithm for the maximum-likelihood estimation. We develop a case-deletion diagnostic analysis for QR models based on the conditional expectation of the complete-data log-likelihood function related to the EM algorithm. The techniques are illustrated with both simulated and real data sets, showing that our approach out-performed other common classic estimators. The proposed algorithm and methods are implemented in the R package ALDqr().

研究动机与目标

• 开发一种基于非对称拉普拉斯分布（ALD）的分位数回归似然框架，实现最大似然估计。
• 通过ALD的层次结构表示，克服标准分位数回归中检查函数的不可微性。
• 基于Q-位移函数和EM算法框架，实现分位数回归模型的删失案例诊断。
• 在非正态误差分布和异常值存在下，提升参数估计的稳健性和效率。
• 通过ALDqr() R包提供免费的实现，促进该方法在研究社区中的应用。

提出的方法

• 利用分位数回归检查函数与非对称拉普拉斯分布（ALD）似然函数之间的联系。
• 采用ALD的层次混合表示，将分位数回归模型转化为具有潜变量的正态回归模型。
• 应用EM算法迭代计算回归参数和尺度参数的最大似然估计。
• 作为EM算法的副产品，推导出观测信息矩阵，用于标准误估计。
• 基于完整数据对数似然的条件期望，开发删失案例诊断方法，遵循Zhu等人（2001）对不完整数据模型的框架。
• 在R包ALDqr()中实现该方法，支持分位数回归模型的可重复和可访问分析。

实验结果

研究问题

• RQ1 非对称拉普拉斯分布（ALD）能否用于将分位数回归表述为基于似然的估计问题？
• RQ2 基于ALD混合表示的EM算法在估计精度和标准误表现方面，与经典方法（如Barrodale-Roberts和Lasso-Penalized QR）相比如何？
• RQ3 基于Q-位移函数的删失案例诊断能否有效适配ALD框架下的分位数回归模型？
• RQ4 在各种误差分布（包括重尾分布和偏态分布）下，所提出的方法表现如何？
• RQ5 在存在异常值和非正态误差的情况下，基于EM的ALD方法在多大程度上提升了稳健性和效率？

主要发现

• 在多个模拟场景中，基于ALD的EM算法在偏差和均方误差（MSE）方面均优于Barrodale-Roberts（BR）和Lasso-Penalized Quantile Regression（LPQR）方法。
• 在中位数回归（p=0.5）情况下，所提出方法在非正态误差分布（如t3分布和混合分布）下，偏差和MSE均低于BR和LPQR。
• 模拟研究显示，随着样本量从n=50增加到n=800，偏差和MSE趋近于零，表明估计量具有良好的渐近性质。
• 删失案例诊断成功识别出模拟数据和真实数据中的影响性观测，证明了该方法在检测异常值方面的实用性。
• 真实数据分析表明，基于ALD的EM方法提供了更稳健的参数估计和更优的模型拟合，优于经典分位数回归方法。
• R包ALDqr()已成功实现并公开发布，推动了该方法在统计实践中的广泛应用。