[논문 리뷰] Deep Clustering with Associative Memories

Bishwajit Saha, Dmitry Krotov외 2명|arXiv (Cornell University)|2026. 01. 02.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

DCAM은 Dense Associative Memories를 사용하여 잠재 표현과 클러스터 프로토타입을 함께 학습하는 엔드 투 엔드 미분 가능 딥 클러스터링 방법을 제시하여, 이미지 및 텍스트 모달리티에서 재구성을 유지하면서 클러스터링 품질을 향상시킵니다.

ABSTRACT

Deep clustering - joint representation learning and latent space clustering - is a well studied problem especially in computer vision and text processing under the deep learning framework. While the representation learning is generally differentiable, clustering is an inherently discrete optimization task, requiring various approximations and regularizations to fit in a standard differentiable pipeline. This leads to a somewhat disjointed representation learning and clustering. In this work, we propose a novel loss function utilizing energy-based dynamics via Associative Memories to formulate a new deep clustering method, DCAM, which ties together the representation learning and clustering aspects more intricately in a single objective. Our experiments showcase the advantage of DCAM, producing improved clustering quality for various architecture choices (convolutional, residual or fully-connected) and data modalities (images or text).

연구 동기 및 목표

• 모듈 간의 분리된 수동으로 조정된 구분을 피하고, 공동 표현 학습 및 클러스터링 작업으로서의 딥 클러스터링에 동기를 부여한다.
• 인코딩, 클러스터링 프로토타입, 디코딩을 하나의 목적함수로 결합하기 위해 연상 기억을 이용한 새로운 에너지 기반 손실을 도입한다.
• 이 방법이 아키텍처에 구애받지 않으며 데이터 모달리티 전반에서 재구성 품질을 유지하면서 더 나은 클러스터링을 제공한다는 것을 입증한다.
• 다양한 데이터셋에서 앰비언트-스페이스 및 잠재 공간 베이스라인에 비해 실증적 개선을 보인다.

제안 방법

• 잠재 공간의 에너지 지형을 통해 인코딩, 디코딩 및 연상 기억 기반 클러스터링을 하나의 미분 가능 손실로 결합하는 것을 제안한다.
• 기억 rho(클러스터 프로토타입)를 갖는 잠재 벡터 v에 대해 에너지 함수 E(v)를 정의하고, 기억의 끌어당김 기반으로 벡터 v를 기억 기반의 유인 영역으로 업데이트하기 위해 A_rho^T 동역학을 사용한다.
• 소프트맥스 기반 가중치를 사용하여 연성(cluster responsibilities)을 형성하기 위해 E(v)에 대한 그래디언트 강하를 적용하여 v' = A_rho^T(v)로 업데이트한다.
• 재구성은 x' = d(v')로 계산하고 제곱 재구성 손실 ||x - x'||^2를 최소화하여, gamma-균형 클러스터링 항이 따로 없는 단일 공동 목표를 얻는다.
• 인코더 e와 디코더 d 및 기억 rho가 엔드투엔드로 학습되는 미분 가능 파이프라인에서 아키텍처에 구애받지 않음을 보여준다(이미지는 CNN, 텍스트는 FC 네트워크).
• 에너지 지형을 제어하는 단일 매개변수 beta를 조정하면서 끌어당김 단계 수 T를 결정하는 교육과정 기반 스킴을 제공한다.

(a) Pretrained

실험 결과

연구 질문

• RQ1 연상 기억 다이나믹스를 잠재 공간 클러스터링에 통합하는 것이 재구성 품질을 해치지 않으면서 더 나은 클러스터 구조를 만들어내는가?
• RQ2 단일 엔드투엔드 미분 가능 목표가 재구성 및 잠재 공간 클러스터링의 균형을 맞춘 전통적 이중 항목 딥 클러스터링 목표보다 우수한가?
• RQ3 DCAM 프레임워크가 다양한 인코더/디코더 아키텍처 및 데이터 모달리티(이미지와 텍스트)에서 견고한가?
• RQ4 잠재 공간 기반 AM 클러스터링이 주변 공간 클러스터링 방법 및 기존 딥 클러스터링 기준과 비교하여 어떤 성능 차이를 보이는가?

주요 결과

• DCAM은 이미지와 텍스트 데이터셋 전반에서 기존 및 다수의 딥 클러스터링 베이스라인에 비해 클러스터링 품질(실루엣 계수)을 일관되게 향상시킨다.
• DCAM은 재구성 손실을 경쟁력 있게 유지하여 클러스터링하는 동안 잠재 표현의 품질이 유지됨을 보여준다.
• DCAM은 아키텍처에 구애받지 않으며 다양한 오토인코더 유형(CAE, RAE, EDCWRN 기반 AE)과 데이터 모달리티에서 우수한 성능을 발휘한다.
• 이 접근법은 잠재 공간 클러스터링 지표와 감독형 유사한 NMI에서 강력한 성과를 보이며 여러 데이터셋에서 최상의 값을 달성한다.

(b) e:1, t:7