[论文解读] On general notions of depth for regression

Yijun Zuo|arXiv (Cornell University)|May 5, 2018

Advanced Statistical Methods and Models参考文献 83被引用 9

一句话总结

本文通过将位置深度原理扩展至回归，提出了一种统一的回归深度框架，引入了投影深度在回归中的新对应概念，并严格评估了现有概念（如Rousseeuw-Hubert回归深度和Carrizosa深度）。该研究建立了连续性、一致性及拟凹性等理论性质，并证明了在经验分布下，新的投影回归深度可恢复经典估计量。

ABSTRACT

Depth notions in location have fascinated tremendous attention in the literature. In fact data depth and its applications remain one of the most active research topics in statistics in the last two decades. Most favored notions of depth in location include Tukey (1975) halfspace depth (HD), Liu (1990) simplicial depth, and projection depth (Stahel (1981) and Donoho (1982), Liu (1992), Zuo and Serfling (2000) (ZS00) and Zuo (2003)), among others. Depth notions in regression have also been proposed, sporadically nevertheless. Regression depth (RD) of Rousseeuw and Hubert (1999) (RH99) is the most famous one which is a direct extension of Tukey HD to regression. Others include Carrizosa (1996) and the ones induced from Marrona and Yohai (1993) (MY93) proposed in this article. Is there any relationship between Carrizosa depth and RD of RH99? Do these depth notions possess desirable properties? What are the desirable properties? Can existing notions really serve as depth functions in regression? These questions remain open. Revealing the equivalence between Carrizosa depth and RD of RH99; expanding location depth evaluating criteria in ZS00 for regression depth notions; examining the existing regression notions with respect to the gauges; and proposing the regression counterpart of the eminent projection depth in location are the four major objectives of the article.

研究动机与目标

• 建立一套连贯的公理化标准，用于评估回归深度概念，将Zuo与Serfling（2000）提出的用于位置深度的评估框架扩展至回归领域。
• 澄清Carrizosa深度与Rousseeuw-Hubert回归深度之间的理论关系，解决二者在概念上联系的模糊性。
• 根据所提出的评估标准，评估现有回归深度概念（尤其是Rousseeuw-Hubert深度与Carrizosa深度）的有效性。
• 引入并形式化一种新颖的回归深度概念，作为位置投影深度在回归中的对应物，确保其稳健性与理论一致性。
• 证明基于新框架的最大深度估计量在经验分布下可恢复经典估计量（如最小二乘法、最小绝对偏差法）。

提出的方法

• 通过四种不同方法（包括受Marrona与Yohai（1993）启发的投影追踪方法）提出回归中不适应性与深度的一般定义。
• 将回归深度定义为：当倾斜回归超平面至垂直方向时，必须穿过的最小概率质量，从而将Tukey的半空间深度推广至回归领域。
• 提出投影回归深度（PRD）作为位置投影深度向回归的直接扩展，利用残差的方向投影。
• 运用经验过程理论与连续性论证，建立经验回归深度几乎必然一致收敛于其总体对应物的性质。
• 应用概率测度的上半连续性与下确界性质，证明深度函数的连续性与拟凹性。
• 利用深度的函数形式推导最大深度估计量，该类估计量最小化最大不适应性，并在经验分布下恢复经典估计量。

实验结果

研究问题

• RQ1 Carrizosa深度与Rousseeuw-Hubert回归深度之间存在何种理论关系？
• RQ2 一个回归深度概念应满足哪些公理化性质，才能被视为有效且稳健？
• RQ3 现有回归深度概念（如Rousseeuw-Hubert深度与Carrizosa深度）能否满足所提出的评估标准？
• RQ4 是否存在一个自然的回归版本，作为突出的位置投影深度的对应物？
• RQ5 基于新框架推导出的最大深度估计量与经典估计量（如最小二乘法与最小绝对偏差法）之间有何关系？

主要发现

• Carrizosa深度与Rousseeuw-Hubert回归深度通过共享的几何与概率基础被证明存在关联，尽管其构造方式与性质有所不同。
• 所提出的投影回归深度（PRD）在参数空间中具有拟凹性，从而在较弱条件下保证了唯一最深估计量的存在性。
• 回归深度函数是上半连续的，且在正则条件下，经验回归深度几乎必然且一致收敛于总体深度函数。
• 基于PRD的最大深度估计量可恢复经典估计量：当使用经验分布时，最小二乘法与最小绝对偏差法均可被恢复。
• 当底层分布具有密度时，深度函数是连续的；仅当数据完全位于单一回归超平面上时，才会出现不连续性。
• 新框架为稳健回归估计提供了统一的理论基础，其中最深估计量具有稳健性与渐近一致性。