[论文解读] Functional Outlier Detection and Taxonomy by Sequential Transformations

Wenlin Dai, Tomáš Mrkvička+2 more|arXiv (Cornell University)|Aug 16, 2018

Advanced Statistical Methods and Models参考文献 22被引用 7

一句话总结

该论文提出一种基于序列变换的方法，通过将功能形状异常值转换为幅度异常值，再利用功能箱线图进行检测，从而实现对功能形状异常值的检测与分类。该方法通过多种变换实现直观的异常值分类，并借助功能索引间的联合异常度提升检测能力。

ABSTRACT

Functional data analysis can be seriously impaired by abnormal observations, which can be classified as either magnitude or shape outliers based on their way of deviating from the bulk of data. Identifying magnitude outliers is relatively easy, while detecting shape outliers is much more challenging. We propose turning the shape outliers into magnitude outliers through data transformation and detecting them using the functional boxplot. Besides easing the detection procedure, applying several transformations sequentially provides a reasonable taxonomy for the flagged outliers. A joint functional ranking, which consists of several transformations, is also defined here. Simulation studies are carried out to evaluate the performance of the proposed method using different functional depth notions. Interesting results are obtained in several practical applications.

研究动机与目标

• 解决传统方法难以识别功能数据中形状异常值的挑战。
• 克服现有功能深度方法在处理形状异常值时因深度分布未知和可解释性差而存在的局限性。
• 构建系统化框架，通过序列数据变换将形状异常值转化为可检测的幅度异常值。
• 基于应用的变换类型与顺序，提供图形化且可解释的功能异常值分类体系。
• 通过结合多个功能索引并利用联合异常度模式，提升方法的稳健性与检测能力。

提出的方法

• 应用一系列数据变换（如一阶差分、导数、均值中心化）将形状异常值转化为幅度异常值。
• 利用功能箱线图在变换后的数据中检测幅度异常值，结合改进的带状深度或其他深度概念。
• 通过多种变换构建联合功能排序，识别在不同视角下均呈现异常的曲线。
• 采用变换后的数据进行全局包络检验，以增强对各类功能偏离的敏感性。
• 利用 $L^{\infty}$ 深度和极端秩长度深度定义中心区域，并在变换后的曲线中检测异常值。
• 结合多个功能索引的边际异常度，检测在单一分量中不可见的联合异常现象。

实验结果

研究问题

• RQ1 能否系统性地将功能数据中的形状异常值转化为幅度异常值以提升可检测性？
• RQ2 序列变换如何增强功能异常值的可解释性与分类能力？
• RQ3 所提出方法在检测单个功能索引中均不异常但整体为联合异常的异常值时表现如何？
• RQ4 与单变量或边际方法相比，多种变换与功能箱线图的结合如何提升检测能力？
• RQ5 数据变换在多大程度上增强了全局包络检验对多样化备择假设的检测能力？

主要发现

• 所提方法成功地通过一阶差分或均值中心化等变换，将具有异常斜率或跳跃等特征的形状异常值转化为幅度异常值。
• 通过多个功能索引（如气温与降水量曲线）的联合异常度检测到的异常值，往往在单独分析每个索引时被遗漏。
• 由于冬季温和且年变化小，兰萨罗特群岛气象站的气温曲线表现出形状异常，仅在结合对数降水量曲线信息后才被检测到。
• 共识别出五个在任一单个索引中均未被标记为幅度异常值的联合异常值，表明存在复杂且基于交互作用的异常现象。
• 变换组合 $\mathcal{T}_0$、$\mathcal{T}_1$ 和 $\mathcal{T}_2$ 有效捕捉了大多数真实场景下的功能异常值，该结论在模拟与真实数据应用中均得到验证。
• 通过基于变换的诊断方法，该方法显著增强了全局包络检验对各类功能偏离的敏感性。