[论文解读] DepthProc An R Package for Robust Exploration of Multidimensional Economic Phenomena

Daniel Kosiorowski, Zygmunt Zawadzki|arXiv (Cornell University)|Aug 20, 2014

Advanced Statistical Methods and Models参考文献 55被引用 29

一句话总结

本论文介绍了 DepthProc R 包，用于使用基于深度的方法对经济数据和高维数据进行稳健的多元统计分析。该包支持通过 DD-图、深度曲线和多元秩检验实现数据深度、尺度和位置差异的可视化，具备高效的计算性能，并与 R 的 ggplot2 生态系统集成，实现灵活的可视化与推断。

ABSTRACT

Data depth concept offers a variety of powerful and user friendly tools for robust exploration and inference for multivariate socio-economic phenomena. The offered techniques may be successfully used in cases of lack of our knowledge on parametric models generating data due to their nonparametric nature. This paper presents the R package DepthProc, which is available under GPL-2 licence on CRAN and R-forge servers for Windows, Linux and OS X platform. The package consist of among others successful implementations of several data depth techniques involving multivariate quantile-quantile plots, multivariate scatter estimators, local Wilcoxon tests for multivariate as well as for functional data, robust regressions. In order to show the package capabilities, real datasets concerning United Nations Fourth Millennium Goal and the Internet users activity are used.

研究动机与目标

• 提供一个全面且稳健的框架，利用数据深度概念分析多维经济现象。
• 通过引入对异常值和非正态性更具鲁棒性的基于深度的替代方法，解决经典多元方法的局限性。
• 通过 DD-图和深度曲线等专用图表，支持对位置、尺度和多元正态性的差异进行可视化探索。
• 通过基于深度的非参数检验（如多元 Wilcoxon 秩和检验）支持推断，其理论基础建立在渐近分布之上。
• 将先进的可视化与统计功能整合到一个可扩展的 R 包中，并兼容 ggplot2。

提出的方法

• 实现多元数据的深度函数（例如，半空间深度、单纯形深度、空间深度），通过 `depth_params` 参数实现自定义配置。
• 使用 DD-图比较两个多元分布，通过将一个样本的深度值相对于另一个样本的深度值绘图，揭示位置或尺度差异的特征模式（如心形或月牙形）。
• 基于深度秩应用多元 Wilcoxon 检验，检验统计量从合并样本中观测值的秩计算得出，其精确和渐近性质基于 Li (2004) 和 Zuo (2006) 的理论推导。
• 设计自定义 S4 类（`Depth`、`DepthCurve`、`DDPlot`）以封装深度结果，实现高效计算与绘图，`getPlot()` 函数可将结果转换为 `ggplot2` 对象。
• 在 `ddMvnorm` 中通过 `robust = TRUE` 实现稳健估计，用于理论多元正态参考分布，采用稳健的协方差和位置估计。
• 使用 UML 类图对包的对象导向结构进行建模，确保模块化与可扩展性。

实验结果

研究问题

• RQ1 如何利用数据深度在经济数据中稳健检测两个多元样本之间位置与尺度的差异？
• RQ2 基于深度的多元秩检验具有哪些统计特性？与经典 Hotelling’s T² 或非参数替代方法相比表现如何？
• RQ3 DD-图能否有效可视化多变量正态性及其偏离情况，特别是在高维经济数据集中？
• RQ4 如何在 R 中高效实现基于深度的可视化与推断，同时支持交互式和出版质量的图形？
• RQ5 通过 `Depth` S4 类缓存深度值，在计算深度中位数或其他基于深度的统计量时，性能提升有多大？

主要发现

• 基于深度秩的多元 Wilcoxon 检验在检测尺度差异方面表现出强一致性和有效性，其渐近分布已在原假设和备择假设下得到推导。
• DD-图成功揭示了样本间的结构性差异：心形模式表明位置偏移，月牙形模式表明尺度差异，如图 32 和图 33 所示。
• 通过 `Depth` 类缓存深度值，将深度中位数估计的计算时间从 1.609 秒减少至 0.001 秒，显著提升了性能。
• `getPlot()` 函数实现了 `DDPlot` 和 `DepthCurve` 对象到 `ggplot2` 对象的无缝转换，支持对标题、颜色调色板和图例的完全自定义。
• `combineDepthCurves` 操作符可高效聚合多个尺度曲线为单一列表，便于联合可视化，如 1995 至 2011 年婴儿死亡率与麻疹免疫接种率分析所示。
• `ddMvnorm` 中的稳健参数估计（通过 `robust = TRUE`）在数据污染下提升了理论参考分布的可靠性，其中 `alpha` 控制协方差估计的破缺点。