[论文解读] Breakdown Properties of the M-Estimators of Multivariate Scatter

David E. Tyler|arXiv (Cornell University)|Jun 18, 2014

Advanced Statistical Methods and Models参考文献 1被引用 14

一句话总结

本文对仿射不变M-估计量在多元散度中的有限样本破缺点进行了精确分析，表明其较低的破缺点——此前被限定在1/(p+1)——主要源于局限于单一平面的污染（共面污染）。研究证明，在不存在此类污染的情况下，M-估计量的破缺点可接近1/2，从而挑战了低破缺点本质上对稳健估计具有问题性的假设。

ABSTRACT

The M-estimators of multivariate scatter are known to have breakdown points no greater than 1/(p+1), where p is the dimension of the data. In high dimension, the breakdown points are usually considered to be disappointingly low. This paper studies the breakdown problem in more detail. The exact breakdown points for the M-estimators of scatter are obtained and it is shown that their low values are primarily due to contamination restricted to some plane. If such "coplanar" contamination is not present, then there exists M-estimators which have breakdown points close to 1/2. The effect of coplanar contamination is further examined and is shown to be related to the singularity of the scatter matrix. Finally, the implications of the results of this paper on whether the low breakdown point is necessarily a bad feature and on multivariate outlier detection are briefly discussed. This paper is a reprint of an unpublished 1986 Rutgers Technical Report.

研究动机与目标

• 研究多元散度M-估计量有限样本破缺点偏低的原因。
• 确定低破缺点是固有局限性，还是特定污染模式的后果。
• 考察共面污染（数据点位于同一子空间）在导致M-估计量失效中的作用。
• 探索在何种条件下M-估计量可实现高破缺点，即使在高维情形下。
• 重新评估在稳健多元统计中低破缺点的可取性，特别是与异常值检测的关系。

提出的方法

• 基于Donoho与Huber（1983）提出的有限样本破缺点定义，推导M-估计量散度的精确破缺点。
• 分析M-估计量在ε-污染下的行为，特别关注污染被限制在p−1维子空间的情形。
• 利用矩阵收敛性论证及权重函数u(s)和其关联函数ψ(s) = s·u(s)的渐近分析，研究估计量的不稳定性。
• 应用Tyler（1985）提出的M-估计量存在性与唯一性条件，建立破缺发生的必要与充分条件。
• 采用子序列收敛技术，分析在污染下逆散度矩阵的极限行为。
• 证明当散度矩阵因共面污染而奇异时，即使不存在极端离群点，估计量也会发生破缺。

实验结果

研究问题

• RQ1 M-估计量在多元散度中的精确有限样本破缺点是多少？
• RQ2 为何M-估计量在多元散度中的破缺点低至1/(p+1)，尤其是在高维情形下？
• RQ3 低破缺点是源于估计量本身的不稳定性，还是特定污染模式的结果？
• RQ4 当共面污染不存在时，M-估计量能否实现高破缺点（例如接近1/2）？
• RQ5 共面污染如何与散度矩阵的奇异性和估计量破缺相关联？

主要发现

• M-估计量在多元散度中的有限样本破缺点上界1/(p+1)是精确值，而非仅一个上界。
• 低破缺点的主要原因是污染被限制在单一平面（共面污染），这是多元设置中特有的现象。
• 当共面污染不存在时，存在M-估计量的破缺点可任意接近1/2。
• 某些M-估计量在少量共面污染下即可能发生破缺，即使没有极端离群点或高杠杆点。
• 共面污染会导致散度矩阵奇异，从而直接引发估计量破缺。
• 破缺行为与权重函数ψ(s)的渐近行为密切相关，特别是当ψ(s) → 0或无界时。