[论文解读] Anomaly detection using data depth: multivariate case

Pavlo Mozharovskyi, Valla, Romain|arXiv (Cornell University)|Oct 6, 2022

Advanced Statistical Methods and Models被引用 4

一句话总结

本文提出数据深度作为一种稳健且仿射不变的多元异常检测方法，将异常值分配给深度值较低的点。研究表明，通过优化采样（如改进的随机搜索）进行近似深度计算，可在高维数据（最高 d=50）中实现高效、可扩展的检测，性能与当前最先进的方法（如孤立森林和自编码器）相当。

ABSTRACT

Anomaly detection is a branch of data analysis and machine learning which aims at identifying observations that exhibit abnormal behaviour. Be it measurement errors, disease development, severe weather, production quality default(s) (items) or failed equipment, financial frauds or crisis events, their on-time identification, isolation and explanation constitute an important task in almost any branch of science and industry. By providing a robust ordering, data depth - statistical function that measures belongingness of any point of the space to a data set - becomes a particularly useful tool for detection of anomalies. Already known for its theoretical properties, data depth has undergone substantial computational developments in the last decade and particularly recent years, which has made it applicable for contemporary-sized problems of data analysis and machine learning. In this article, data depth is studied as an efficient anomaly detection tool, assigning abnormality labels to observations with lower depth values, in a multivariate setting. Practical questions of necessity and reasonability of invariances and shape of the depth function, its robustness and computational complexity, choice of the threshold are discussed. Illustrations include use-cases that underline advantageous behaviour of data depth in various settings.

研究动机与目标

• 将数据深度确立为工业和科学应用中多元异常检测的实用工具。
• 解决在高维和大规模数据场景下数据深度计算的挑战。
• 评估近似精度、计算效率与检测性能之间的权衡。
• 将基于数据深度的异常检测与自编码器、一类支持向量机和孤立森林等成熟方法进行比较。
• 研究子采样和近似算法对检测质量与运行时间的影响。

提出的方法

• 使用数据深度作为非参数的中心性度量，为更异常的点分配更低的深度值。
• 采用投影深度和半空间深度作为核心深度函数，其鲁棒性和仿射不变性为关键特性。
• 通过随机搜索（RS）和改进随机搜索（RRS）进行近似计算，以降低高维情况下的计算成本。
• 在深度近似中使用Nelder-Mead优化，相比纯随机方法，可提升收敛性并降低方差。
• 对训练数据进行子采样，以减少内存和计算负载，同时保持检测质量。
• 使用异常检测质量度量（公式16）在包含5%异常值的合成数据上重复50次评估性能。

实验结果

研究问题

• RQ1 在多元设置下，基于数据深度的异常检测与孤立森林和一类支持向量机等成熟方法相比表现如何？
• RQ2 在高维数据中，近似方法（如RS与RRS）对检测精度和计算效率有何影响？
• RQ3 对训练集进行子采样如何在降低计算成本的同时影响异常检测质量？
• RQ4 在真实世界中非椭球分布的数据中，数据深度在多大程度上保持了鲁棒性和仿射不变性？
• RQ5 数据深度能否提供可解释性，其与自编码器等黑箱模型相比表现如何？

主要发现

• 基于数据深度的异常检测在复杂且非椭球分布的数据中，性能与当前最先进的方法（如孤立森林和一类支持向量机）相当。
• 在单核Apple M1 Max芯片上，使用200个方向时，RRS近似在不到20秒内计算出1,000个点在d=10下的深度，展现出极高的计算效率。
• 纯随机搜索（RS）受维度灾难影响严重，在d=10时使用5,000个方向的计算时间增至500秒，而RRS保持了更好的可扩展性。
• 在d=20时，子采样训练集导致检测质量逐渐下降而非突然恶化，表明速度与精度之间存在可行的权衡。
• 在d=50时，异常点在距离空间中已难以辨认，但数据深度仍能实现有效的检测，凸显其在高维异常隔离中的实用性。
• 在深度近似中使用Nelder-Mead优化相比随机搜索显著提升了性能，尤其在高维情况下，降低了方差并改善了收敛性。