[論文レビュー] DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps

Laura Manduchi, Matthias Hüser+3 more|arXiv (Cornell University)|Oct 3, 2019

Face and Expression Recognition参考文献 5被引用数 11

ひとこと要約

DPSOMは、変分オートエンコーダー（VAEs）と新規の確率的自己組織化マップ（PSOM）を組み合わせた深層確率的クラスタリングフレームワークを導入し、画像および時系列データにおいて最先端のクラスタリング性能を達成するとともに、解釈可能で低次元の可視化を維持する。この手法はソフトで重心に基づくクラスタリング割り当てを用い、LSTMを統合した拡張版（T-DPSOM）により不確実性推定と時系列予測を可能にする。

ABSTRACT

Generating interpretable visualizations from complex data is a common problem in many applications. Two key ingredients for tackling this issue are clustering and representation learning. However, current methods do not yet successfully combine the strengths of these two approaches. Existing representation learning models which rely on latent topological structure such as self-organising maps, exhibit markedly lower clustering performance compared to recent deep clustering methods. To close this performance gap, we (a) present a novel way to fit self-organizing maps with probabilistic cluster assignments (PSOM), (b) propose a new deep architecture for probabilistic clustering (DPSOM) using a VAE, and (c) extend our architecture for time-series clustering (T-DPSOM), which also allows forecasting in the latent space using LSTMs. We show that DPSOM achieves superior clustering performance compared to current deep clustering methods on MNIST/Fashion-MNIST, while maintaining the favourable visualization properties of SOMs. On medical time series, we show that T-DPSOM outperforms baseline methods in time series clustering and time series forecasting, while providing interpretable visualizations of patient state trajectories and uncertainty estimation.

研究の動機と目的

• 深層クラスタリングモデルと自己組織化マップ（SOMs）の間の性能格差を埋めるために、確率的クラスタリングと深層表現学習を統合する。
• 高次元データにおける古典的SOMの限界を克服するため、微分可能で確率的なクラスタリング機構を導入する。
• VAE-PSOMの共同学習により、複雑なデータの解釈可能な低次元可視化を維持しながら、高いクラスタリング精度を実現する。
• T-DPSOMを用いて時系列データに拡張し、不確実性推定を伴うクラスタリングと予測の両方を可能にする。
• 医療および実世界のデータにおいて、クラスタリング性能、解釈可能性、不確実性定量化のバランスを取る統合モデルを提供する。

提案手法

• 確率的SOM（PSOM）を提案。これは、ハードなクラスタリング割り当てを重心に基づく確率分布に置き換えた微分可能なSOMの変種である。
• 予測された分布と補助的ターゲット分布の間のKullback-Leibler発散損失を用いてPSOMを訓練し、潜在マップにおける空間的整合性を促進する。
• クラスタリング構造を保持する低次元の表現を学習するために、PSOMを変分オートエンコーダー（VAE）と統合する。
• SOMに類似した近隣構造からの逸脱をペナルティ化することで、トポロジー順序を強制する新しい損失項、S-SOM損失を導入する。
• 潜在空間にLSTMを統合することでDPSOMをT-DPSOMに拡張し、時間的ダイナミクスをモデル化し、予測を可能にする。
• ソフトクラスタリング割り当てを用いることで、クラスタリングおよび将来状態予測における不確実性推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己組織化マップの確率的拡張は、複雑で高次元のデータにおいてクラスタリング性能を向上させるとともに、解釈可能性を維持できるか？
• RQ2 VAEと確率的SOMを共同で学習させた場合、最先端の深層クラスタリング手法と比較してクラスタリング精度にどのような影響を与えるか？
• RQ3 S-SOM損失は潜在空間におけるトポロジカル構造をどの程度強制できるか？また、これはクラスタリング割り当ての空間的整合性にどのように影響するか？
• RQ4 T-DPSOMにおけるLSTMを用いた時間的モデリングの統合は、時系列クラスタリングおよび予測性能を向上させられるか？
• RQ5 ソフトで確率的なクラスタリング割り当ての使用は、臨床的時系列解析における不確実性定量化を向上させられるか？

主な発見

• DPSOMは、DEC や IDEC などの最先端の深層クラスタリング手法と比較して、MNISTおよびFashion-MNISTで優れたクラスタリング性能を達成した。
• S-SOM損失は、β値が高くなるにつれてモーランのI指数が上昇することにより、SOMに類似したトポロジカル構造が効果的に強制されていることが確認された。これは、空間的クラスタリング整合性が強化されていることを示している。
• T-DPSOMは、ICUデータにおける時系列クラスタリングおよび予測性能において、ベースラインモデルを上回った。AUPRCが向上し、患者の軌道が生理的状態とよりよく一致した。
• モデルはSOMグリッド上での患者状態軌道の解釈可能な可視化を提供し、ソフトクラスタリング割り当てにより、時間経過に伴う不確実性推定が可能になった。
• 各クラスタごとのAPACHEスコアのヒートマップは、意味のある空間的パターンを示しており、死亡リスクの高い患者は平均スコアが高いクラスタに向かって移動する傾向を示した。
• 確率的割り当てにより直感的な解釈が可能である：隣接するクラスタは類似した確率を持つことが多く、高確率のクラスタは軌道の方向を予測可能である。