[论文解读] Fast computation of Tukey trimmed regions in dimension $p>2$

Xiaohui Liu, Karl Mosler+1 more|arXiv (Cornell University)|Dec 16, 2014

Advanced Statistical Methods and Models参考文献 27被引用 6

一句话总结

本文提出两种高效算法，用于在维度 p > 2 时计算精确的 Tukey 截断区域，利用深度区域的组合性质，显著减少计算时间和内存使用。这些方法使得在高维空间中实际应用稳健、仿射不变的多元分位数成为可能，而此前的方法在这些维度下不可行。

ABSTRACT

Given data in $\mathbb{R}^{p}$, a Tukey $ au$-trimmed region is the set of all points that have at least Tukey depth $ au$ in the data. As they are visual, affine equivariant and robust, Tukey trimmed regions are useful tools in nonparametric multivariate analysis. While these regions are easily defined and can be interpreted as $p$-variate quantiles, their practical application is impeded by the lack of efficient computational procedures in dimension $p>2$. We construct two algorithms that exploit certain combinatorial properties of the regions. Both calculate the exact region. They run much faster and require substantially less RAM than existing ones.

研究动机与目标

• 解决在维度 p > 2 时精确 Tukey 截断区域计算的计算不可行性问题。
• 开发在内存使用和运行速度上均显著优于现有方法的算法。
• 利用 Tukey 深度区域的内在组合结构，实现在高维空间中的精确计算。
• 通过使用精确截断区域，使稳健、仿射不变的多元分析在 p > 2 时实际可行。

提出的方法

• 算法利用 Tukey 深度的组合性质，避免对所有可能区域进行穷举枚举。
• 通过识别定义深度区域边界的临界超平面和面，计算精确的 Tukey 截断区域。
• 利用数据点与深度边界之间的对偶性，降低计算复杂度。
• 通过避免存储中间完整深度结构，设计算法以最小化内存使用。
• 基于深度约束，采用递归划分和剪枝策略，加速收敛。
• 方法为精确计算，不依赖近似或采样，确保与理论定义的一致性。

实验结果

研究问题

• RQ1 如何在不使用近似的情况下，高效计算维度 p > 2 的 Tukey 截断区域？
• RQ2 Tukey 深度的哪些组合性质可被利用以降低计算复杂度？
• RQ3 能否在显著减少内存和运行时间的前提下，实现高维截断区域的精确计算？
• RQ4 与现有方法相比，所提算法在速度和内存使用方面的性能提升如何？

主要发现

• 所提算法在 p > 2 维中计算精确 Tukey 截断区域，相比先前方法有显著的速度提升。
• 内存使用大幅降低，使得在标准硬件上对中等样本量也能进行计算。
• 算法在维度 p 增加时仍能有效扩展，在以往方法失效的场景下保持可行性。
• 利用组合结构，实现精确计算，无需采样或近似启发式方法。