[논문 리뷰] Consensus Clustering: An Embedding Perspective, Extension and Beyond

Hongfu Liu, Zhiqiang Tao외 1명|arXiv (Cornell University)|2019. 05. 31.

Complex Network Analysis Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 일관성 클러스터링을 일관된 임bedding 기반 시각으로 제시하며, 이는 범주형 클러스터 할당을 연속형 임베딩으로 변환함으로써 강건성과 일관성을 향상시키는 표현 학습 문제로 프레임워크화한다 (예: 스펙트럼 분해, 이진 코드화, 또는 그래프 신경망을 통한). 이는 기존의 전통적 일관성 클러스터링 방법들을 공통 프레임워크 아래 통합하며, 퍼지, 다중 시각, 공-클러스터링 설정으로의 확장을 포함한다. 또한 제약 클러스터링, 도메인 적응, 특징 선택, 이상치 탐지 등 다양한 응용 분야에서의 유용성을 입증한다.

ABSTRACT

Consensus clustering fuses diverse basic partitions (i.e., clustering results obtained from conventional clustering methods) into an integrated one, which has attracted increasing attention in both academic and industrial areas due to its robust and effective performance. Tremendous research efforts have been made to thrive this domain in terms of algorithms and applications. Although there are some survey papers to summarize the existing literature, they neglect to explore the underlying connection among different categories. Differently, in this paper we aim to provide an embedding prospective to illustrate the consensus mechanism, which transfers categorical basic partitions to other representations (e.g., binary coding, spectral embedding, etc) for the clustering purpose. To this end, we not only unify two major categories of consensus clustering, but also build an intuitive connection between consensus clustering and graph embedding. Moreover, we elaborate several extensions of classical consensus clustering from different settings and problems. Beyond this, we demonstrate how to leverage consensus clustering to address other tasks, such as constrained clustering, domain adaptation, feature selection, and outlier detection. Finally, we conclude this survey with future work in terms of interpretability, learnability and theoretical analysis.

연구 동기 및 목표

• 명시적인 목적 함수가 있는지 여부에 관계없이 다양한 일관성 클러스터링 방법들을 하나의 임베딩 기반 프레임워크 아래 통합하여, 목적 함수가 명시된 방법들과 그렇지 않은 방법들 사이의 숨겨진 연결 고리를 드러내는 것.
• 기존 서베이에서 이론적 및 구조적 이해의 부족을 해결하기 위해, 일관성 클러스터링을 그래프 임베딩 및 표현 학습과 연결하는 일관된 임베딩 시각을 구축하는 것.
• 퍼지 클러스터링, 다중 시각 클러스터링, 공-클러스터링 등 새로운 설정으로 일관성 클러스터링을 확장하여 적용 범위를 넓히는 것.
• 제약 클러스터링, 도메인 적응, 특징 선택, 이상치 탐지와 같은 다른 비지도 학습 과제에 통합함으로써 일관성 클러스터링의 유연성을 입증하는 것.
• 향후 연구를 위한 핵심 열린 과제인 투명성, 학습 가능성, 이론적 기반에 기반한 일관성 클러스터링의 주요 과제를 식별하고 개선 방향을 제시하는 것.

제안 방법

• 스펙트럼 분해, 이진 코드화, 손실 제거된 노이즈 제거, 무작위 표현과 같은 전략을 사용하여 범주형 기본 파artitions를 연속형 임베딩으로 변환한다.
• 공-연결 행렬과 데이터 특징에서 동시에 학습하는 그래프 컬러레이션 네트워크(GCN)를 사용한 학습 가능한 일관성 그래프 임베딩 네트워크를 제안한다.
• 층별 전파를 가지는 다층 GCN 아키텍처를 활용하며, 식은 $ Z^{(l+1)} = \varphi(\tilde{D}^{-\frac{1}{2}}\tilde{S}\tilde{D}^{-\frac{1}{2}}Z^{(l)}W^{(l)}) $ 이며, 여기서 $ \tilde{S} $ 는 공-연결 행렬이고 $ Z^{(0)} = X $ 이다.
• 기존의 k-NN나 라플라시안 그래프와 같은 전통적인 그래프 구조 대신, 공-연결 행렬을 강건하고 일관성 기반의 그래프 구조로 사용한다.
• 특징 선택, 이상치 탐지, 도메인 적응 등의 후행 과제에서 학습을 이끄는 고품질의 가짜 레이블을 생성함으로써 일관성 클러스터링을 통합한다.
• 기본 파artitions 생성과 융합 과정을 함께 최적화하는 엔드 투 엔드 학습 가능한 일관성 프레임워크를 제안하며, 다양성을 확보하기 위해 드롭아웃 또는 기타 메커니즘을 활용할 수 있다.

실험 결과

연구 질문

• RQ1 명시적인 목적 함수가 있는지 여부에 관계없이, 일관성 클러스터링을 하나의 임베딩 기반 프레임워크 아래 통합할 수 있는 방법은 무엇인가?
• RQ2 강건성과 해석 가능성 향상에 기여하는 핵심 임베딩 전략(예: 스펙트럼, 이진, 노이즈 제거)은 무엇인가?
• RQ3 퍼지, 다중 시각, 공-클러스터링 문제와 같은 복잡한 설정을 다룰 수 있도록 일관성 클러스터링을 어떻게 확장할 수 있는가?
• RQ4 일관성 클러스터링을 제약 클러스터링, 도메인 적응, 특징 선택과 같은 더 넓은 비지도 학습 과제를 해결하는 데 어떻게 활용할 수 있는가?
• RQ5 특히 투명성, 엔드 투 엔드 학습 가능성, 일반화 능력 측면에서 일관성 클러스터링의 근본적인 이론적 및 실용적 과제는 무엇인가?

주요 결과

• 임베딩 시각은 목적 함수가 명시된 방법들과 그렇지 않은 방법들 사이의 두 주요 범주를 모두 변환된 기본 파artitions 표현에서 작동한다는 점을 보여줌으로써 성공적으로 통합되었다.
• 스펙트럼 분해와 공-연결 행렬 기반 임베딩은 노이즈가 있거나 다양한 입력 파artitions가 존재하는 상황에서도 강건하고 안정적인 파artitioning을 가능하게 하여 일관성 클러스터링의 견고한 기반을 제공한다.
• 제안된 GCN 기반의 일관성 그래프 임베딩 네트워크는 공-연결 행렬에서 의미 있는 저차원 표현을 학습하여 후행 과제에서의 클러스터링 성능을 향상시킨다.
• 일관성 클러스터링은 일관성 기반 가짜 레이블을 생성함으로써 제약 클러스터링, 도메인 적응, 특징 선택, 이상치 탐지 등으로 효과적으로 재사용될 수 있다.
• 연구에서는 세 가지 주요 열린 과제를 식별하였다: 해석 가능성(클러스터를 원래 특징과 연결), 학습 가능성(파artitioning과 융합의 엔드 투 엔드 공동 최적화), 이론적 분석(일반화, 수렴성, 오차 한계).
• 실험 결과는 임베딩 기반 일관성 클러스터링이 노이즈가 많은 특징을 다루거나 이질적인 클러스터링 소스를 통합하는 데서 기존 방법보다 강건성과 안정성에서 뛰어나다는 것을 시사한다.