[论文解读] The Area of the Convex Hull of Sampled Curves: a Robust Functional Statistical Depth Measure

Guillaume Staerman, Pavlo Mozharovskyi+1 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Statistical Methods and Models参考文献 31被引用 9

一句话总结

本文提出了一种新颖的功能深度度量方法——凸包面积深度（Area of the Convex Hull Depth, ACHD），通过计算将某条曲线加入样本后凸包面积的相对增加量，来量化该曲线在功能数据集中的中心性。ACHD具有鲁棒性、可解释性，并在合成数据集和真实世界数据集（包括EOG、Wine和Octane）中，尤其在检测孤立异常和形状异常方面，优于现有方法。

ABSTRACT

With the ubiquity of sensors in the IoT era, statistical observations are becoming increasingly available in the form of massive (multivariate) time-series. Formulated as unsupervised anomaly detection tasks, an abundance of applications like aviation safety management, the health monitoring of complex infrastructures or fraud detection can now rely on such functional data, acquired and stored with an ever finer granularity. The concept of statistical depth, which reflects centrality of an arbitrary observation w.r.t. a statistical population may play a crucial role in this regard, anomalies corresponding to observations with 'small' depth. Supported by sound theoretical and computational developments in the recent decades, it has proven to be extremely useful, in particular in functional spaces. However, most approaches documented in the literature consist in evaluating independently the centrality of each point forming the time series and consequently exhibit a certain insensitivity to possible shape changes. In this paper, we propose a novel notion of functional depth based on the area of the convex hull of sampled curves, capturing gradual departures from centrality, even beyond the envelope of the data, in a natural fashion. We discuss practical relevance of commonly imposed axioms on functional depths and investigate which of them are satisfied by the notion of depth we promote here. Estimation and computational issues are also addressed and various numerical experiments provide empirical evidence of the relevance of the approach proposed.

研究动机与目标

• 解决现有功能深度度量方法在捕捉基于形状的异常方面存在局限，或对异常值敏感的问题。
• 开发一种可解释性强、对污染具有鲁棒性、并能敏感检测出偏离中心性的渐变异常（包括超出数据包络线的异常）的深度度量方法。
• 为功能数据分析中的积分型深度函数提供一种计算高效且理论基础扎实的替代方案。
• 在多种真实世界数据集上，证明该方法在检测各类异常（位置异常、孤立异常和形状异常）方面的优越性。

提出的方法

• 将功能深度定义为：当查询曲线被加入到随机曲线样本中时，凸包面积的期望相对增加量。
• 使用蒙特卡洛近似方法，通过多次采样并计算平均面积增加量，来估计曲线的深度。
• 在应用多变量异常检测方法（如Isolation Forest、One-Class SVM）进行基准测试前，先通过功能主成分分析（FPCA）进行降维。
• 通过利用凸包的几何特性，确保方法的鲁棒性，使其能自然捕捉全局形状偏差。
• 采用可扩展的算法实现该方法，其计算复杂度适合大规模功能数据处理。
• 采用非参数、非积分的方法定义深度，避免对分布形式或基展开的假设。

实验结果

研究问题

• RQ1 基于凸包面积的几何深度度量能否有效捕捉功能数据的中心性，并检测异常，特别是基于形状的偏差？
• RQ2 ACHD在对异常值的鲁棒性以及对不同类型异常的敏感性方面，相较于已建立的功能深度度量方法（如FSDO、FT）表现如何？
• RQ3 在训练数据中污染程度逐渐增加的情况下，ACHD在多大程度上能保持一致的深度排序？
• RQ4 在已知异常的真实世界功能数据集（如EOG、Wine和Octane）上，ACHD相较于最先进多变量异常检测方法的表现如何？
• RQ5 与基于积分的深度函数相比，ACHD在统计估计中是否表现出更低的方差和更高的稳定性？

主要发现

• 即使训练曲线中高达30%为异常，ACHD仍能保持深度排序的一致性，表现出强大的鲁棒性。
• 在检测孤立异常方面，ACHD优于FSDO和FT，在Octane数据集上检测率达到1.0，在Wine数据集上同样达到1.0。
• 在EOG数据集上，ACHD检测到73%的异常，超过FSDO（55%）、FT（48%）和FIF（43%），表明其在复杂真实功能数据上的优越性能。
• ACHD在Wine数据集上实现了100%的异常检测率，而FSDO和FT均未能检测到任何异常，凸显其对细微形状偏差的高度敏感性。
• ACHD在统计估计中表现出更低的方差，且对超参数的敏感性低于基于积分的深度函数。
• 该方法展现出良好的可扩展性和可解释性，深度值可自然解释为相对面积增加，显著提升了实际可用性。