[论文解读] Detecting spatial clusters in functional data: new scan statistic approaches

Camille Frévent, Mohamed‐Salem Ahmed+2 more|arXiv (Cornell University)|Nov 6, 2020

Data-Driven Disease Surveillance参考文献 67被引用 14

一句话总结

本文提出了两种新颖的函数数据空间扫描统计方法：一种基于函数ANOVA，另一种采用无分布假设的方法。两种方法在检测更小、更精确的聚类方面均优于现有的非参数函数扫描统计方法，尤其在正态或准正态分布下表现更优，其中无分布假设方法在所有测试分布和聚类类型下均展现出更高的统计功效和F-measure。

ABSTRACT

We have developed two scan statistics for detecting clusters of functional data indexed in space. The first method is based on an adaptation of a functional analysis of variance and the second one is based on a distribution-free spatial scan statistic for univariate data. In a simulation study, the distribution-free method always performed better than a nonparametric functional scan statistic, and the adaptation of the anova also performed better for data with a normal or a quasi-normal distribution. Our methods can detect smaller spatial clusters than the nonparametric method. Lastly, we used our scan statistics for functional data to search for spatial clusters of abnormal unemployment rates in France over the period 1998-2013 (divided into quarters).

研究动机与目标

• 为解决单变量和多变量空间扫描统计在处理高维、时间索引的连续函数数据及时间相关性方面的局限性。
• 开发专门针对函数数据的参数型与非参数型扫描统计方法，以保留时间信息并实现对空间聚类的更高敏感度检测。
• 在Smida等人（2020）提出的非参数函数扫描统计（NPFSS）基础上进行改进，引入可检测更小、更相关聚类且具有更高统计功效与精度的方法。
• 实现对传统单变量平均或多变量方法因信息损失或高相关性而遗漏的空间聚类的检测。
• 提供一个灵活的框架，可适应多种聚类形状（如圆形、椭圆形、基于图的形状），并通过函数数据平滑技术处理非相同观测时间。

提出的方法

• 提出基于Cuevas等人（2004）提出的函数ANOVA F统计量的参数型函数空间扫描统计（PFSS），将F统计量用作聚类集中度指标以评估潜在聚类。
• 通过将Cucala（2014）的无分布假设扫描统计方法适配至函数数据，提出无分布假设的函数空间扫描统计（DFFSS），采用基于符号的检验统计量作为集中度指标。
• 应用蒙特卡洛置换检验评估检测到的聚类的统计显著性，确保控制第一类错误率。
• 使用函数数据平滑技术（如B样条投影）处理空间位置间非相同观测时间，使方法可应用于具有非规则时间采样特征的真实世界数据集。
• 实施空间扫描过程，对空间域内所有可能的圆形（或其他形状）聚类进行评估，基于最高集中度指标值选择最可能聚类（MLC）。
• 通过参考现有的多变量函数ANOVA与Wilcoxon-Mann-Whitney检验，将方法扩展至多变量函数数据，为未来开发提供路径。

实验结果

研究问题

• RQ1 基于函数ANOVA的参数型扫描统计是否能比现有非参数方法更有效地检测函数数据中的空间聚类？
• RQ2 在各种分布假设和聚类形状下，无分布假设的函数扫描统计是否优于非参数和参数型替代方法？
• RQ3 所提出的方法在检测小聚类与大聚类方面表现如何，尤其在统计功效与精度方面？
• RQ4 新方法在在多大程度上保留了时间信息，并避免了单变量平均或多变量方法固有的数据损失？
• RQ5 方法能否适应检测非圆形聚类形状（如拉长形、椭圆形）并处理真实世界数据中不规则的观测时间？

主要发现

• 在所有模拟情景下，无分布假设的函数空间扫描统计（DFFSS）始终优于非参数函数扫描统计（NPFSS）和参数型函数空间扫描统计（PFSS），包括非正态分布情形。
• PFSS检测到的聚类比NPFSS更小，且F-measure更高（表明精确度与召回率更优），因此更适合对空间分辨率要求较高的应用场景。
• 在正态或准正态分布下，PFSS的统计功效与NPFSS相当，但显著提升了对更小、更局部化聚类的检测能力。
• 在对法国失业率（1998–2013年）的真实数据应用中，NPFSS检测到一个覆盖法国中部40个省的广泛地理分布聚类，但由于内部异质性高且包含低失业率区域，该结果相关性较低。
• PFSS与DFFSS均检测到一个更连贯、地理上更紧凑的7个省聚类，位于法国东南部，且失业率持续处于高位，显示出更高的空间精度。
• 所有方法均保持了名义上的第一类错误率，证实了统计推断程序的有效性，而DFFSS在检测短时程聚类（如模拟中的Δ₃情形）方面表现出更优的统计功效。