[论文解读] A time resolved clustering method revealing longterm structures and their short-term internal dynamics

Jonas I. Liechti, Sebastian Bonhoeffer|arXiv (Cornell University)|Dec 9, 2019

Complex Network Analysis Techniques参考文献 2被引用 4

一句话总结

本文提出一种时间解析聚类方法，通过追踪时间点之间的多数重叠，检测时间数据中的持久动态聚类（DCs），从而识别长期结构要素及其短期内部动态（如分裂-融合过程）。该方法灵活、可扩展，并保留了传统聚合方法中丢失的瞬态子聚类动态。

ABSTRACT

The last decades have not only been characterized by an explosive growth of data, but also an increasing appreciation of data as a valuable resource. Their value comes with the ability to extract meaningful patterns that are of economic, societal or scientific relevance. A particular challenge is the identification of patterns across time, including those that might only become apparent when the temporal dimension is taken into account. Here, we present a novel method that aims to achieve this by detecting dynamic clusters, i.e. structural elements that can be present over prolonged durations. It is based on an adaptive identification of majority overlaps between groups at different time points and accommodates the transient decompositions in otherwise persistent dynamic clusters. Our method enables the detection of persistent structural elements with internal dynamics and can be applied to any classifiable data, ranging from social contact networks to arbitrary sets of time stamped feature vectors. It represents a unique tool to study systems with non-trivial temporal dynamics and has a broad applicability to scientific, societal and economic data.

研究动机与目标

• 解决在时间戳数据中识别具有内部时间动态的持久结构要素的挑战。
• 开发一种灵活、可扩展的方法，检测跨快照的动态聚类（DCs），而无需依赖特定聚类算法。
• 保留持久DCs内瞬态子聚类动态的信息，这些信息在标准聚合方法中会丢失。
• 提供一种客观度量——总一致性——用于评估和参数化动态聚类。
• 使方法可应用于多种数据类型，包括关系型和非关系型时间序列，包括实时或流式数据。

提出的方法

• 该方法使用任何聚类算法的时间序列聚类分配作为输入，无需原始数据或特定聚类假设。
• 基于连续快照之间聚类的多数重叠来定义动态聚类，使用历史参数控制时间敏感度。
• 基于规则的框架允许DCs随时间形成、持续存在、缩小、扩大、分裂或合并，以模拟现实的动态行为。
• 该方法支持重叠社区检测，并能处理持久聚类内的瞬态分解，如分裂-融合动态。
• 引入总一致性度量，以客观评估聚类质量，计算方式为所有动态聚类生命周期一致性的加权平均。
• 该算法与数据源数量呈线性扩展，计算效率高，适用于大规模或流式数据。

实验结果

研究问题

• RQ1 如何在保留其内部短期动态的前提下，可靠检测时间戳数据中的持久结构要素？
• RQ2 何种标准可定义一个能够随时间持续存在、分裂、合并或缩小的稳健动态聚类？
• RQ3 如何捕捉并分析长期聚类内部的瞬态子聚类行为（如分裂-融合过程）？
• RQ4 可使用何种客观度量来量化和比较不同动态聚类的质量？
• RQ5 该方法在多大程度上优于简单的时间聚合，在保留有意义动态模式方面表现更优？

主要发现

• 该方法成功检测到随时间持续存在的动态聚类，同时捕捉到如分裂-融合过程等瞬态内部动态，而这些在标准聚合中会丢失。
• 当历史参数为5或以上时，动态聚类生命周期的分布表现出高度一致性，表明长期结构检测稳定。
• 在12个时间步长跨度的聚类生命周期中出现显著不连续性，导致加权平均生命周期显著增加，凸显聚类稳定性的关键转变。
• 12至22步历史参数区间实现最大总一致性，表明此参数范围为稳健检测提供了最优设置。
• 总一致性度量使动态聚类的客观比较成为可能，并支持对方法性能的参数化。
• 该方法计算高效，与数据规模呈线性扩展，即使每个快照的聚类数量随数据源线性增长，仍保持可扩展性。