[论文解读] Clustering Noisy Signals with Structured Sparsity Using Time-Frequency Representation

Tom Hope, Avishai Wagner+1 more|arXiv (Cornell University)|Oct 18, 2015

Time Series Analysis and Forecasting参考文献 19被引用 3

一句话总结

本文提出 SPARCWave，一种新颖的稀疏聚类框架，利用结构化稀疏性与时频表示——特别是散射变换和基于小波的多尺度分析——以提升低信噪比（low-SNR）、噪声时间序列信号的聚类性能。通过联合执行跨信号平滑与降维，同时保留聚类相关信息特征，SPARCWave 在真实世界数据集（包括生长曲线、音素和小麦光谱）上的聚类准确率高于现有方法。

ABSTRACT

We propose a simple and efficient time-series clustering framework particularly suited for low Signal-to-Noise Ratio (SNR), by simultaneous smoothing and dimensionality reduction aimed at preserving clustering information. We extend the sparse K-means algorithm by incorporating structured sparsity, and use it to exploit the multi-scale property of wavelets and group structure in multivariate signals. Finally, we extract features invariant to translation and scaling with the scattering transform, which corresponds to a convolutional network with filters given by a wavelet operator, and use the network's structure in sparse clustering. By promoting sparsity, this transform can yield a low-dimensional representation of signals that gives improved clustering results on several real datasets.

研究动机与目标

• 解决传统基于距离的方法在低信噪比、噪声时间序列信号聚类中因成对距离不可靠而失效的挑战。
• 克服单信号去噪方法的局限性，后者可能因忽略全局跨信号信息而丢弃聚类相关特征。
• 通过将结构化稀疏性与时频表示（如小波和散射变换）结合，开发一种保留聚类结构的聚类方法。
• 实现对常见信号变换（如平移、缩放和小形变）的不变性，这些变换会降低标准聚类方法的性能。
• 通过将稀疏 K-means 与来自散射变换的多尺度、组稀疏特征表示相结合，提升真实世界数据集的聚类准确率。

提出的方法

• 对时间序列信号应用散射变换，生成具有多尺度、时频特性的表示，该表示对平移、伸缩和小形变具有不变性。
• 利用散射系数的自然分组结构（按尺度和时间组织），在稀疏 K-means 框架中施加组稀疏性。
• 整合基于小波的多分辨率分析，以捕捉不同尺度下的特征，强调携带聚类相关信息的粗尺度系数。
• 制定一个稀疏聚类优化问题，仅选择最具信息量的小波系数和散射系数，从而在保留聚类结构的同时降低维度。
• 在系数选择过程中利用跨信号信息，以超越单个信号去噪的平滑与特征提取效果。
• 采用带结构化稀疏性约束的稀疏 K-means 实现该方法，其中非零权重被学习以突出最能区分聚类的特征。

实验结果

研究问题

• RQ1 与标准稀疏聚类相比，时频表示中的结构化稀疏性是否能提升低信噪比时间序列信号的聚类性能？
• RQ2 散射变换对平移和形变的不变性在噪声真实数据集中在多大程度上提升了聚类准确率？
• RQ3 在系数选择过程中整合全局跨信号信息，是否优于仅对单个信号去噪，从而更好地保留聚类结构？
• RQ4 在小波和散射系数上施加组稀疏性，对不同信号类型和噪声水平下的聚类准确率有何影响？
• RQ5 与基线方法相比，该框架是否能在多样化的实际数据集（如生长曲线、音素倒谱图和小麦光谱）上实现更优的聚类结果？

主要发现

• 在生长曲线数据集上，SPARCWave 的调整兰德指数（Adjusted Rand Index, ARI）达到 0.91，显著优于标准 K-means（ARI = 0.87）及其他基线方法。
• 在音素数据集上，SPARCWave 的 ARI 达到 0.73，超过表现第二好的方法（Giacofci [14]，ARI = 0.69）。
• 在小麦光谱数据集上，SPARCWave 的 ARI 达到 0.46，优于所有其他方法，包括 Antoniadis [2]（ARI = 0.35）和 Giacofci [14]（ARI = 0.30）。
• 将非零散射特征用作特征选择步骤，使生长曲线数据集上的聚类准确率从 0.87 提升至 0.91，证明了 SPARCWave 作为特征选择工具的价值。
• 在音素和小麦数据集上，组稀疏聚类未提升性能，可能由于样本量过大或信息特征有限，但结果仍保持竞争力。
• 该框架的成功归因于其能够联合利用跨信号信息对信号进行平滑并降维，即使在低信噪比条件下也能保留聚类结构。