[论文解读] LAD Regression and Nonparametric Methods for Detecting Outliers and Leverage Points

Giuseppe Melfi, Susana Faria|arXiv (Cornell University)|Jul 25, 2005

Advanced Statistical Methods and Models参考文献 6被引用 4

一句话总结

本文提出了一种非参数化、鲁棒的方法，通过在留一子集上重复LAD（最小绝对偏差）拟合，检测LAD回归中的离群点和高杠杆点。通过计算L-得分（某一点位于LAD拟合超平面的频率）和O-得分（某一点在每次留一子集中具有最大残差的频率），该方法识别出高杠杆点（L-得分高）和离群点（O-得分高），在高杠杆情景下检测被掩盖的离群点方面优于经典方法和Hadi方法。

ABSTRACT

The detection of influential observations for the standard least squares regression model is a question that has been extensively studied. LAD regression diagnostics offers alternative approaches whose main feature is the robustness. In this paper a new approach for nonparametric detection of influencial observations in LAD regression models is presented and compared with other classical methods of diagnostics.

研究动机与目标

• 开发一种鲁棒的、非参数化的方法，用于检测LAD回归中的影响观测值，以解决经典诊断方法的局限性。
• 克服在标准方法中高杠杆点会掩盖离群点识别的遮蔽效应。
• 提供一种计算上可行但具有理论基础的方法，基于重复LAD拟合，满足自然的鲁棒性要求。
• 将所提方法与经典方法及Hadi方法在真实数据集和模拟数据集上的表现进行比较，以评估其在检测离群点和高杠杆点方面的性能。

提出的方法

• 该方法通过将LAD回归拟合到所有n-1个子集上，为每个观测值计算L-得分，若该观测值位于拟合的超平面上则得分为1，否则为0，并对所有子集求和。
• O-得分的计算方式类似，但每次在留一子集中，将得分1分配给具有最大绝对残差的观测值，并对所有子集求和。
• 通过高L-得分（例如，显著高于期望值p+1）识别高杠杆点，通过高O-得分（例如，显著高于期望值1）识别离群点。
• 该方法假设LAD解唯一且点非共线，以确保得分的稳定性和可解释性。
• 该方法通过Splus代码实现，并应用于真实数据集（Telephone、Hawkins、Scottish）和模拟数据集（twovariables、threevariables）。
• 在随机模型下解释得分：E[L(k)] = p+1 和 E[O(k)] = 1，为识别极端值提供基准。

实验结果

研究问题

• RQ1 在存在遮蔽效应的情况下，基于非参数化LAD的方法是否能比经典诊断方法更有效地检测离群点和高杠杆点？
• RQ2 L-得分和O-得分在具有已知影响观测值的多样化数据集中，识别高杠杆点和离群点方面的表现如何？
• RQ3 重复留一子集LAD拟合方法是否能提供对污染的鲁棒性，并在经典方法失效的情况下提升检测性能？
• RQ4 在Hawkins等病态数据集中，该方法与Hadi方法相比，在检测组合型离群点和高杠杆点方面表现如何？
• RQ5 当数据中存在高杠杆点时，该方法在保持对离群点的敏感性方面能达到何种程度？

主要发现

• 在'Telephone'数据集中，该方法成功检测出全部四个离群点（第17–20号案例），优于经典方法和Hadi方法，后者因遮蔽效应漏检了第19和20号案例。
• 在'Hawkins'数据集中，该方法检测出10个离群点中的7个（11–14）和7个高杠杆点（3–6、9、10、13），尽管存在显著的遮蔽效应，仍表现出色。
• 在'Scottish'数据集中，所有三种方法均正确识别出第7和18号观测为离群点；所提方法唯一识别出第33号观测为高杠杆点。
• 在模拟的'twovariables'数据集中，该方法正确识别出全部三个离群点（54–56）且仅将一个点（52）识别为高杠杆点，优于经典方法和Hadi方法，后者错误地将全部三个点均标记为高杠杆点。
• 在'threevariables'数据集中，该方法检测出全部三个高杠杆点（51–53），并正确识别出4个离群点（9、37、54–56），而经典方法和Hadi方法则漏检了部分高杠杆点。
• 该方法在标准硬件上表现出计算可行性，测试数据集的执行时间在秒级，且可通过公开的Splus实现获取。