[论文解读] Identification of Outlying Observations with Quantile Regression for Censored Data

Soo‐Heang Eo, Seung‐Mo Hong+1 more|arXiv (Cornell University)|Apr 30, 2014

Advanced Statistical Methods and Models参考文献 1被引用 5

一句话总结

本文提出三种基于右删失生存数据的异常值检测算法——基于残差、箱线图和评分的方法，采用右删失分位数回归。评分算法可提供异常值程度得分，并支持可视化阈值选择，因其在敏感度与特异度之间表现出更优的平衡，被推荐为默认方法。相关方法已实现于 CRAN 上的 R 包 OutlierDC 中。

ABSTRACT

Outlying observations, which significantly deviate from other measurements, may distort the conclusions of data analysis. Therefore, identifying outliers is one of the important problems that should be solved to obtain reliable results. While there are many statistical outlier detection algorithms and software programs for uncensored data, few are available for censored data. In this article, we propose three outlier detection algorithms based on censored quantile regression, two of which are modified versions of existing algorithms for uncensored or censored data, while the third is a newly developed algorithm to overcome the demerits of previous approaches. The performance of the three algorithms was investigated in simulation studies. In addition, real data from SEER database, which contains a variety of data sets related to various cancers, is illustrated to show the usefulness of our methodology. The algorithms are implemented into an R package OutlierDC which can be conveniently employed in the \proglang{R} environment and freely obtained from CRAN.

研究动机与目标

• 解决医学和流行病学研究中针对右删失生存数据缺乏稳健异常值检测方法的问题。
• 开发在非正态分布和删失条件下仍有效的算法，这些情况在生存分析中普遍存在。
• 提供灵活且可可视化异常值检测方法，并提供可解释的异常值程度得分。
• 将方法实现为易于使用的 R 包，便于在实际数据分析中应用。
• 通过识别扭曲结果的影响力观测值，提升生存数据分析的可靠性。

提出的方法

• 使用右删失分位数回归建模生存时间的条件分位数，以增强对异常值的稳健性。
• 通过计算右删失分位数回归的残差，并应用尺度调整后的阈值，改进基于残差的检测方法。
• 采用修正的箱线图规则，利用残差的四分位距识别极端观测值。
• 提出一种评分算法，为每个观测值计算异常值程度得分，支持可视化阈值选择。
• 采用局部加权右删失分位数回归（Wang, 2008）作为数据拟合的底层模型。
• 在 R 包 OutlierDC 中实现所有算法，缺省使用评分方法以实现敏感度与特异度的最佳平衡。

实验结果

研究问题

• RQ1 在传统方法因非正态性和删失而失效的右删失生存数据中，如何实现有效的异常值检测？
• RQ2 在右删失数据中，基于残差、箱线图或评分的异常值检测算法中，哪一种在敏感度与特异度之间具有最佳权衡？
• RQ3 基于评分的方法是否能通过量化异常值程度，改善相对于固定阈值的阈值选择？
• RQ4 所提出的算法在模拟研究和来自 SEER 数据库的真实世界癌症生存数据中表现如何？
• RQ5 使用右删失分位数回归在识别影响力观测值方面，能在多大程度上增强稳健性？

主要发现

• 在模拟研究中，评分算法在敏感度与特异度的平衡方面优于基于残差和箱线图的方法。
• 基于残差的算法因敏感度较高而检测到更多异常值，但特异度较低。
• 箱线图算法在 k_b = 1.5 时仅检测到一个异常值，表明其敏感度较低但特异度较高。
• 当阈值设为 k_s = 4.0 时，评分算法检测到两个异常值（第 327 和 346 个观测），与其他方法结果一致。
• 第 346 个观测值被所有三种算法识别为异常值，表明检测结果具有稳健性。
• OutlierDC R 包成功实现了所有三种算法，且将评分方法设为缺省，以提升实际可用性。