[논문 리뷰] DPSOM: Deep Probabilistic Clustering with Self-Organizing Maps

Laura Manduchi, Matthias Hüser외 3명|arXiv (Cornell University)|2019. 10. 03.

Face and Expression Recognition참고 문헌 5인용 수 11

한 줄 요약

DPSOM은 변분 오토에인코더(VAE)와 새로운 확률적 자기조직화 지도(PSOM)를 결합한 딥 확률 클러스터링 프레임워크를 제안하며, 이미지 및 시계열 데이터에서 최신 기술 수준의 클러스터링 성능를 달성하면서도 해석 가능한 저차원 시각화를 유지한다. 이 방법은 소프트이고 중심점 기반의 클러스터 할당을 사용하며, LSTM을 통한 개선된 변형(T-DPSOM)을 통해 불확실성 추정과 시계열 예측을 가능하게 한다.

ABSTRACT

Generating interpretable visualizations from complex data is a common problem in many applications. Two key ingredients for tackling this issue are clustering and representation learning. However, current methods do not yet successfully combine the strengths of these two approaches. Existing representation learning models which rely on latent topological structure such as self-organising maps, exhibit markedly lower clustering performance compared to recent deep clustering methods. To close this performance gap, we (a) present a novel way to fit self-organizing maps with probabilistic cluster assignments (PSOM), (b) propose a new deep architecture for probabilistic clustering (DPSOM) using a VAE, and (c) extend our architecture for time-series clustering (T-DPSOM), which also allows forecasting in the latent space using LSTMs. We show that DPSOM achieves superior clustering performance compared to current deep clustering methods on MNIST/Fashion-MNIST, while maintaining the favourable visualization properties of SOMs. On medical time series, we show that T-DPSOM outperforms baseline methods in time series clustering and time series forecasting, while providing interpretable visualizations of patient state trajectories and uncertainty estimation.

연구 동기 및 목표

• 딥 클러스터링 모델과 자기조직화 지도(SOM) 간의 성능 격차를 해소하기 위해 확률 클러스터링과 딥 표현 학습을 통합한다.
• 기존 SOM의 고차원 데이터 처리 능력에 한계가 있음을 극복하기 위해 기울기 가능하고 확률 기반의 클러스터링 메커니즘을 도입한다.
• 공동 VAE-PSOM 학습을 통해 복잡한 데이터의 해석 가능한 저차원 시각화를 유지하면서도 높은 클러스터링 정확도를 확보한다.
• 시계열 데이터에 대한 확장으로 T-DPSOM을 제안하여 클러스터링과 예측을 동시에 수행하고 불확실성 정량화를 지원한다.
• 의료 및 실세계 데이터에서 클러스터링 성능, 해석 가능성, 불확실성 정량화의 균형을 이루는 통합 모델을 제공한다.

제안 방법

• 자기조직화 지도(SOM)의 기울기 가능 변형인 확률적 SOM(PSOM)을 제안하며, 하드 클러스터 할당을 중심점 기반 확률 분포로 대체한다.
• 예측된 분포와 보조 목표 분포 간의 쿨백-라이블러 발산 손실을 사용해 PSOM을 학습함으로써 잠재 맵 내에서 공간 일관성을 유도한다.
• 클러스터링 구조를 유지하는 깊이 있는 저차원 표현을 학습하기 위해 PSOM을 변분 오토에인코더(VAE)와 통합한다.
• 잠재 공간 내에서 위상적 순서를 강화하기 위해, SOM 유사 이웃 구조에서의 이탈을 방지하는 새로운 손실 항목인 S-SOM 손실을 도입한다.
• 잠재 공간에 LSTM을 통합하여 시계열 동역학을 모델링하고 예측을 가능하게 함으로써 DPSOM을 T-DPSOM로 확장한다.
• 소프트 클러스터 할당을 통해 클러스터링 및 향후 상태 예측에서의 불확실성 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기조직화 지도의 확률적 확장이 복잡한 고차원 데이터에서 클러스터링 성능를 향상시키면서도 해석 가능성을 유지할 수 있는가?
• RQ2 VAE와 확률적 SOM을 공동으로 학습할 경우, 최신 기술 수준의 딥 클러스터링 방법에 비해 클러스터링 정확도에 어떤 영향을 미치는가?
• RQ3 S-SOM 손실이 잠재 공간 내에서 위상적 구조를 얼마나 효과적으로 강화할 수 있으며, 이는 클러스터 할당의 공간 일관성에 어떤 영향을 미치는가?
• RQ4 T-DPSOM에서 LSTM을 통한 시간 동역학 모델링 통합이 시계열 클러스터링 및 예측 성능를 향상시키는가?
• RQ5 소프트이고 확률 기반의 클러스터 할당이 임상 시계열 분석에서의 불확실성 정량화를 향상시키는가?

주요 결과

• DPSOM은 DEC 및 IDEC과 같은 최신 기술 수준의 딥 클러스터링 방법에 비해 MNIST 및 패션-MNIST에서 뛰어난 클러스터링 성능를 달성한다.
• S-SOM 손실은 확실히 SOM 유사 위상적 구조를 강화하며, β 값이 높을수록 증가하는 Moran’s I 지수를 통해 더 강한 공간 클러스터링 일관성이 확인된다.
• T-DPSOM은 ICU 데이터에서 기준 모델 대비 시계열 클러스터링 및 예측 성능를 뛰어나게 했으며, AUPRC가 향상되고 환자 궤적과 생리적 상태 간의 일치도가 높아졌다.
• 모델은 SOM 격자 내에서 환자 상태 궤적의 해석 가능한 시각화를 제공하며, 소프트 클러스터 할당을 통해 시간에 따른 불확실성 추정이 가능하다.
• 클러스터별 APACHE 점수 히트맵은 의미 있는 공간 패턴을 보이며, 사망 위험이 높은 환자는 평균 점수가 높은 클러스터 쪽으로 이동하는 경향을 보였다.
• 확률 기반 할당은 직관적인 해석을 가능하게 하며, 인접한 클러스터는 유사한 확률을 가지며, 높은 확률 클러스터는 궤적 방향을 예측할 수 있다.