[论文解读] DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps

Laura Manduchi, Matthias Hüser+3 more|arXiv (Cornell University)|Oct 3, 2019

Face and Expression Recognition参考文献 5被引用 11

一句话总结

DPSOM 提出了一种深度概率聚类框架，将变分自编码器（VAEs）与一种新型概率自组织映射（PSOM）相结合，在图像和时间序列数据上实现了最先进的聚类性能，同时保持了可解释的低维可视化。该方法采用基于质心的软聚类分配，通过一种基于LSTM的变体（T-DPSOM）实现了不确定性估计与时间序列预测。

ABSTRACT

Generating interpretable visualizations from complex data is a common problem in many applications. Two key ingredients for tackling this issue are clustering and representation learning. However, current methods do not yet successfully combine the strengths of these two approaches. Existing representation learning models which rely on latent topological structure such as self-organising maps, exhibit markedly lower clustering performance compared to recent deep clustering methods. To close this performance gap, we (a) present a novel way to fit self-organizing maps with probabilistic cluster assignments (PSOM), (b) propose a new deep architecture for probabilistic clustering (DPSOM) using a VAE, and (c) extend our architecture for time-series clustering (T-DPSOM), which also allows forecasting in the latent space using LSTMs. We show that DPSOM achieves superior clustering performance compared to current deep clustering methods on MNIST/Fashion-MNIST, while maintaining the favourable visualization properties of SOMs. On medical time series, we show that T-DPSOM outperforms baseline methods in time series clustering and time series forecasting, while providing interpretable visualizations of patient state trajectories and uncertainty estimation.

研究动机与目标

• 通过将概率聚类与深度表示学习相结合，弥合深度聚类模型与自组织映射（SOMs）之间的性能差距。
• 通过引入可微分的概率聚类机制，克服经典SOM在高维数据中的局限性。
• 通过联合训练VAE-PSOM，实现在保持高聚类准确率的同时，对复杂数据提供可解释的低维可视化。
• 通过在潜在空间中引入LSTM，将DPSOM扩展至时间序列数据，实现T-DPSOM，支持聚类与预测，并具备不确定性估计能力。
• 提供一个统一的模型，在医学和现实世界数据中实现聚类性能、可解释性与不确定性量化的平衡。

提出的方法

• 提出概率SOM（PSOM），一种可微分的SOM变体，将硬聚类分配替换为基于质心的概率分布。
• 通过预测分布与辅助目标分布之间的Kullback-Leibler散度损失训练PSOM，以在潜在图中促进空间一致性。
• 将PSOM与变分自编码器（VAE）集成，以学习保留聚类结构的深度低维表示。
• 引入一种新型损失项S-SOM损失，通过惩罚与SOM类似邻域结构的偏离，强制实现潜在空间中的拓扑排序。
• 通过在潜在空间中引入LSTM，将DPSOM扩展为T-DPSOM，以建模时间动态并支持预测。
• 利用软聚类分配，实现在聚类和未来状态预测中的不确定性估计。

实验结果

研究问题

• RQ1 概率化的自组织映射能否在保持可解释性的同时，提升复杂高维数据的聚类性能？
• RQ2 与当前最先进深度聚类方法相比，VAE与概率SOM的联合训练对聚类准确率有何影响？
• RQ3 S-SOM损失在多大程度上能强制实现潜在空间中的拓扑结构？其对聚类分配的空间一致性有何影响？
• RQ4 通过在T-DPSOM中引入LSTM进行时间建模，能否同时提升时间序列聚类与预测性能？
• RQ5 在临床时间序列分析中，使用软概率聚类分配是否能增强不确定性量化？

主要发现

• 与当前最先进深度聚类方法（包括DEC和IDEC）相比，DPSOM在MNIST和Fashion-MNIST上实现了更优的聚类性能。
• S-SOM损失有效强制实现了类似SOM的拓扑结构，表现为随着β值增加，Moran’s I指数持续上升，表明聚类分配的空间一致性增强。
• 在ICU数据上，T-DPSOM在时间序列聚类与预测方面均优于基线模型，AUPRC指标提升，且患者轨迹与生理状态的对齐更优。
• 该模型在SOM网格中提供了患者状态轨迹的可解释可视化，软聚类分配支持随时间的不确定性估计。
• 各聚类内APACHE评分的热力图显示出有意义的空间模式，死亡患者倾向于移向平均评分更高的聚类。
• 概率分配支持直观解释：相邻聚类具有相似的概率分布，而高概率聚类可预测轨迹方向。