[논문 리뷰] A Framework for Deep Constrained Clustering -- Algorithms and Advances

Hongjing Zhang, Sugato Basu외 1명|arXiv (Cornell University)|2019. 01. 29.

Advanced Clustering Algorithms Research참고 문헌 32인용 수 10

한 줄 요약

이 논문은 전통적인 쌍별 제약을 넘어서 삼중조합, 인스턴스 난이도, 클러스터 크기 제약을 포함하는 딥러닝 프레임워크를 제안하여 표현과 클러스터링을 동시에 최적화하는 종단간(end-to-end) 학습을 가능하게 한다. 이는 개별 제약 집합으로 인한 부정적 성능 저하라는 오랜 문제를 해결하며, MNIST 및 Fashion-MNIST에서 기준 방법보다 뛰어난 클러스터링 정확도를 달성한다.

ABSTRACT

The area of constrained clustering has been extensively explored by researchers and used by practitioners. Constrained clustering formulations exist for popular algorithms such as k-means, mixture models, and spectral clustering but have several limitations. A fundamental strength of deep learning is its flexibility, and here we explore a deep learning framework for constrained clustering and in particular explore how it can extend the field of constrained clustering. We show that our framework can not only handle standard together/apart constraints (without the well documented negative effects reported earlier) generated from labeled side information but more complex constraints generated from new types of side information such as continuous values and high-level domain knowledge.

연구 동기 및 목표

• 기존 제약 클러스터링의 한계, 즉 단순 쌍별 제약에 대한 의존성과 개별 제약 집합이 초래하는 성능 저하 문제를 해결하기 위해.
• 새로운 제약 유형을 통해 연속적인 값과 도메인 수준의 지식을 포함한 richer한 보조 정보를 지원함으로써 제약 클러스터링을 확장하기 위해.
• 딥러닝의 확장성과 종단간 학습을 활용하여 클러스터링 성능을 향상시키면서도 제약 품질에 대해 강건성을 유지하기 위해.
• 딥 제약 클러스터링이 동일한 특징 표현으로 초기화된 경우에도 고전적 방법을 능가할 수 있음을 보여주기 위해.

제안 방법

• 다양한 제약 조건을 사용하는 딥 표현과 클러스터링 할당을 동시에 학습하는 가변가능한 클러스터링 목적함수를 사용하는 딥 클러스터링 프레임워크를 제안한다.
• 네 가지 제약 유형을 도입: 쌍별(필수 연결/불가능 연결), 삼중조합(유사도 기반), 인스턴스 수준의 난이도, 전역 클러스터 크기 제약.
• 저차원의 분리된 표현을 학습하기 위해 변동형 오토인코더(Variational Autoencoder, VAE)를 사용하고, 소프트 할당 확률을 갖는 클러스터링 헤드를 이어가며.
• 제약 조건을 가중치가 부여된 마진 기반 목적함수를 통해 손실 함수에 통합하여 인스턴스 간 상대적 거리가 올바르게 유지되도록 유도한다.
• 에ncoder, 클러스터링 할당, 제약 조건 이행을 동시에 최적화하기 위해 종단간 역전파를 적용한다.
• 현재 예측 기반으로 반복적으로 갱신되는 가짜 레이블을 사용하는 자기학습 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용해 쌍별 제약을 넘어서는 더 유연하고 확장 가능한 제약 클러스터링 프레임워크를 구성할 수 있는가?
• RQ2 딥 클러스터링에서 종단간 학습이 개별 제약 집합과 연관된 부정적 성능 영향을 제거하는가?
• RQ3 연속적인 보조 정보에서 유도된 삼중조합 제약이 표준 쌍별 제약보다 클러스터링 성능을 향상시키는가?
• RQ4 전역 클러스터 크기 제약이 딥 클러스터링에 효과적으로 통합되어 균형 잡힌 클러스터 할당을 유도할 수 있는가?

주요 결과

• 제안된 딥 제약 클러스터링 프레임워크는 기준 방법 대비 MNIST에서 더 높은 클러스터링 정확도(Acc: 0.91)와 정규화된 상호정보량(NMI: 0.86)을 달성한다.
• Fashion-MNIST에서는 전역 크기 제약을 적용했을 때 Acc: 0.57과 NMI: 0.59를 기록하며 일관된 성능 향상을 보였다.
• 삼중조합 제약는 연속적인 유사도 임베딩에서 유도되며, 제약 수가 증가할수록 일관되게 클러스터링 성능 향상을 보였지만, 쌍별 제약에 비해 약간 낮은 성과 향상을 보였다.
• 이 프레임워크는 일관되지 않거나 노이즈가 있는 제약 조건의 부정적 영향을 효과적으로 완화하여, 개별 제약 집합이 열악한 경우에도 성능을 유지하거나 향상시켰다.
• 학습된 임베딩의 시각화 결과는 전통적 방법이 제약 일관성 문제로 애로를 겪는 반면, 본 방법은 잘 분리되고 일관된 클러스터를 생성함을 보여주었다.
• 비딥 기준 방법과 동일한 특징 표현으로 초기화된 경우에도 딥 프레임워크는 성능을 개선하는 데 성공했으며, 종단간 학습의 이점을 입증했다.