[论文解读] Computation of projection regression depth and its induced median

Yijun Zuo|arXiv (Cornell University)|May 28, 2019

Advanced Statistical Methods and Models参考文献 33被引用 4

一句话总结

本文提出了计算投影回归深度（PRD）及其诱导中位数（最大深度估计量）的精确与近似算法，分别实现 O(n² log n) 和 O(RpNβ(p² + nNvNIter)) 的计算成本。文中引入了三种快速、稳健的基于 PRD 的估计量，其速度最高可达 PRD 中位数的 30 倍，同时保持高精度，并在抗干扰性与效率方面优于当前领先的回归深度中位数估计量。

ABSTRACT

Notions of depth in regression have been introduced and studied in the literature. The most famous example is Regression Depth (RD), which is a direct extension of location depth to regression. The projection regression depth (PRD) is the extension of another prevailing location depth, the projection depth, to regression. The computation issues of the RD have been discussed in the literature. The computation issues of the PRD have never been dealt with before. The computation issues of the PRD and its induced median (maximum depth estimator) in a regression setting are addressed now. For a given $\bsβ\in\R^p$ exact algorithms for the PRD with cost $O(n^2\log n)$ ($p=2$) and $O(N(n, p)(p^{3}+n\log n+np^{1.5}+npN_{Iter}))$ ($p>2$) and approximate algorithms for the PRD and its induced median with cost respectively $O(N_{\mb{v}}np)$ and $O(Rp N_{\bsβ}(p^2+nN_{\mb{v}}N_{Iter}))$ are proposed. Here $N(n, p)$ is a number defined based on the total number of $(p-1)$ dimensional hyperplanes formed by points induced from sample points and the $\bsβ$; $N_{\mb{v}}$ is the total number of unit directions $\mb{v}$ utilized; $N_{\bsβ}$ is the total number of candidate regression parameters $\bsβ$ employed; $N_{Iter}$ is the total number of iterations carried out in an optimization algorithm; $R$ is the total number of replications. Furthermore, as the second major contribution, three PRD induced estimators, which can be computed up to 30 times faster than that of the PRD induced median while maintaining a similar level of accuracy are introduced. Examples and simulation studies reveal that the depth median induced from the PRD is favorable in terms of robustness and efficiency, compared to the maximum depth estimator induced from the RD, which is the current leading regression median.

研究动机与目标

• 为解决投影回归深度（PRD）这一稳健回归深度概念（其将投影深度推广至回归问题）长期存在的计算方法空白。
• 开发精确与近似算法以实现 PRD 及其诱导中位数的计算，推动其在高维回归中的实际应用。
• 提出三种新的基于 PRD 的估计量，计算效率高，同时保持稳健性与准确性。
• 在污染条件下，比较 PRD 中位数与既有的回归深度（RD）中位数在稳健性、效率与 breakdown point 方面的差异。
• 通过模拟实验表明，PRD 中位数在有限样本中表现更优，尤其在污染条件下。

提出的方法

• 提出一种基于超平面枚举与优化的精确算法，计算复杂度为 p=2 时的 O(n² log n)，p>2 时为 O(N(n,p)(p³ + n log n + np¹·⁵ + npNIter))。
• 提出一种近似算法，PRD 计算复杂度为 O(Nvnp)，其诱导中位数计算复杂度为 O(RpNβ(p² + nNvNIter))，通过随机单位方向与迭代优化实现。
• 将不适应度（UF）定义为投影残差与单位向量之间绝对相关性的上确界，构成 PRD 计算的基础。
• 采用投影追踪框架，通过在所有方向上最大化稳健性来计算深度，确保仿射不变性与尺度不变性。
• 通过方向性搜索与迭代优化，开发三种快速估计量，显著降低计算负担，同时不损失稳健性。
• 利用蒙特卡洛模拟与真实数据案例验证算法性能，并与最小二乘法及 RD 中位数等现有方法进行比较。

实验结果

研究问题

• RQ1 在高维回归场景下，如何高效计算投影回归深度（PRD）？
• RQ2 精确与近似算法在 PRD 及其诱导中位数上的计算复杂度分别是多少？
• RQ3 能否从 PRD 衍生出更快的估计量，同时保持高稳健性与准确性并减少计算时间？
• RQ4 在污染条件下，PRD 诱导中位数与回归深度（RD）诱导中位数在稳健性与效率方面有何差异？
• RQ5 基于 PRD 的估计量在有限样本中的表现如何，其均方误差（EMSE）与 breakdown point 如何？

主要发现

• PRD 诱导中位数（T*PRD）的有限样本 breakdown point 最高可达 50%，显著高于 RD 诱导中位数（T*RD）的 33%。
• 在所有样本量 n 下，PRD 诱导中位数的效率均高于 RD 诱导中位数，且在污染条件下 n=200 时效率提升至 525%。
• 在污染环境中，PRD 诱导中位数优于最小二乘估计量，即使一个或三个点严重污染，其结果仍保持稳定。
• 所提出的三种快速估计量计算速度最高可达 PRD 中位数的 30 倍，同时保持相近的精度与稳健性。
• PRD 中位数具有唯一性，且对污染的敏感性低于 RD 中位数，后者可能面临非唯一性与有限样本 breakdown point 较低的问题。
• 模拟结果表明，所有基于深度的估计量的 EMSE 随样本量 n 增大而减小，且在污染条件下，基于 PRD 的估计量始终优于最小二乘法与基于 RD 的估计量。