[论文解读] A Multivariate Extreme Value Theory Approach to Anomaly Clustering and Visualization

Maël Chiapino, Stéphan Clémençon+2 more|arXiv (Cornell University)|Jul 17, 2019

Financial Risk and Volatility Modeling参考文献 49被引用 9

一句话总结

本文提出了一种基于多元极值理论（MEV）的混合模型，将异常类型视为隐变量，用于聚类和可视化高维数据中的极端事件。通过将极值分布建模为变量子组上的软混合，该方法推导出一种异常间的相似性度量，结合谱聚类与图挖掘工具实现有效的二维可视化，在真实航空数据集和UCI数据集上的聚类纯度优于K-means与谱聚类。

ABSTRACT

In a wide variety of situations, anomalies in the behaviour of a complex system, whose health is monitored through the observation of a random vector X = (X1,. .. , X d) valued in R d , correspond to the simultaneous occurrence of extreme values for certain subgroups $\\alpha$ $\\subset$ {1,. .. , d} of variables Xj. Under the heavy-tail assumption, which is precisely appropriate for modeling these phenomena, statistical methods relying on multivariate extreme value theory have been developed in the past few years for identifying such events/subgroups. This paper exploits this approach much further by means of a novel mixture model that permits to describe the distribution of extremal observations and where the anomaly type $\\alpha$ is viewed as a latent variable. One may then take advantage of the model by assigning to any extreme point a posterior probability for each anomaly type $\\alpha$, defining implicitly a similarity measure between anomalies. It is explained at length how the latter permits to cluster extreme observations and obtain an informative planar representation of anomalies using standard graph-mining tools. The relevance and usefulness of the clustering and 2-d visual display thus designed is illustrated on simulated datasets and on real observations as well, in the aeronautics application domain.

研究动机与目标

• 解决在复杂系统中对罕见、高维极端事件进行聚类与可视化的挑战，这些异常源于变量子组中同时出现的极端值。
• 构建一个统计框架，将极值观测的分布建模为异常类型上的混合，将每种类型视为隐变量。
• 基于异常类型的后验概率，推导出异常之间的相似性度量，以支持有效的聚类与二维可视化。
• 在真实航空飞行数据与基准UCI数据集上展示该方法的实用性，证明其在聚类性能上优于标准方法。
• 为航空等安全关键领域提供一种稳健且可解释的异常分析方法，其中理解极端事件之间的依赖关系至关重要。

提出的方法

• 该方法使用有限混合模型对极端观测的分布进行建模，其中每个分量对应一种特定的异常类型α，定义为可同时取极端值的变量子集。
• 该模型基于多元极值理论（MEV），利用角度测度描述单位球面上极端事件的渐近依赖结构。
• 通过期望最大化（EM）算法执行隐变量推断，以估计每个极端观测对应于每种异常类型α的后验概率。
• 从后验概率中推导出异常之间的相似性度量，支持基于图的表示与聚类。
• 对相似性图应用谱聚类，生成聚类的二维可视化，节点大小与颜色分别反映聚类大小与内部连通性。
• 该方法在合成数据与真实数据集上进行了验证，包括18,553条飞行记录（含82个参数）与12,414个样本的UCI航天飞机数据集。

实验结果

研究问题

• RQ1 如何将多元极值理论扩展以建模并聚类源于变量子组中同时出现极端值的异常？
• RQ2 具有隐异常类型的混合模型是否能比K-means或谱聚类等标准方法提供更可解释且更有效的极端事件聚类？
• RQ3 所提出的相似性度量在捕捉高维极端数据中异常间有意义的结构关系方面表现如何？
• RQ4 所生成的二维可视化在揭示真实应用中异常的潜在聚类结构与相互依赖关系方面有多有效？
• RQ5 与基线算法相比，该方法在罕见与极端事件上的聚类纯度提升程度如何？

主要发现

• 在包含100个极端点的UCI航天飞机数据集上，该方法的纯度得分为0.85，优于K-means（0.80）与谱聚类（0.80）。
• 对于300个极端飞行事件，该方法成功将异常聚类为18个有意义的组，谱聚类可视化结果揭示了深色大簇内部具有高连通性。
• 基于后验概率推导出的相似性度量，实现了有效的基于图的聚类与二维可视化，为异常结构提供了可解释的洞察。
• 在航空数据集中，该方法揭示了健康/使用数据异常与运行事件之间的依赖关系，支持健康指标的开发。
• 混合模型框架提供了统计上合理且稀疏的极值依赖表示，仅识别出少数关键变量子组α，这些子组对极端行为起决定性作用。
• 实证结果表明，该方法在不同极端事件样本规模下，其纯度始终优于标准聚类算法。