[논문 리뷰] Hierarchical Correlation Clustering and Tree Preserving Embedding

Morteza Haghir Chehreghani, Chehreghani, Mostafa Haghir|arXiv (Cornell University)|2020. 02. 18.

Advanced Clustering Algorithms Research참고 문헌 51인용 수 8

한 줄 요약

이 논문은 정규화된 상관관계 클러스터링(HCC)을 제안하며, 양의 상관관계와 음의 상관관계를 모두 고려하여 계층적 클러스터를 생성하는 새로운 방법이다. 최대-최소 거리 측정과 트리 보존 임베딩을 통합함으로써 HCC는 하이퍼파라미터 조정 없이도 사전에 클러스터 수를 지정하지 않고도 기하학적으로 복잡하고 길쭉한 데이터셋에서 완벽한 클러스터링을 달성할 수 있다.

ABSTRACT

We propose a hierarchical correlation clustering method that extends the well-known correlation clustering to produce hierarchical clusters applicable to both positive and negative pairwise dissimilarities. Then, in the following, we study unsupervised representation learning with such hierarchical correlation clustering. For this purpose, we first investigate embedding the respective hierarchy to be used for tree preserving embedding and feature extraction. Thereafter, we study the extension of minimax distance measures to correlation clustering, as another representation learning paradigm. Finally, we demonstrate the performance of our methods on several datasets.

연구 동기 및 목표

• 양의 상관관계와 음의 상관관계를 모두 다루는 계층적 클러스터링 방법의 부족을 보완한다.
• 다중 수준의 클러스터 구조를 유지할 수 있도록 상관관계 클러스터링의 계층적 확장 기법을 개발한다.
• 계층적 구조의 트리 보존 임베딩을 통해 비지도 표현 학습을 가능하게 한다.
• 최대-최소 거리 측정을 상관관계 클러스터링에 통합하여 비구형이고 길쭉한 클러스터의 탐지 성능을 향상시키는지 조사한다.
• 실제 데이터셋과 시뮬레이션 데이터셋에서 다양한 클러스터 형상을 가진 데이터에 대해 HCC 및 그 변형의 효과성을 입증한다.

제안 방법

• 양의 상관관계와 음의 상관관계를 동시에 다룰 수 있도록 설계된 새로운 이탈 클러스터 거리 측정 함수를 사용하는 계층적 응집형 클러스터링 방법인 HCC를 제안한다.
• HCC의 디트리그램을 저차원 특징 표현으로 매핑하기 위한 트리 보존 임베딩 프레임워크를 설계한다.
• 최대-최소 거리 측정을 상관관계 클러스터링에 통합하여 비구형이고 길쭉한 클러스터의 구조 탐지 능력을 향상시킨다.
• 클러스터링 이전에 시간적 궤적 데이터를 시각화하기 위해 동적 시간 왜곡(DTW)과 t-SNE를 적용한다.
• 표현 품질 평가를 위해 HCC에서 유도된 특징에 기반한 혼합 가우시안 모델(GMM) 기반 클러스터링을 수행한다.
• 이웃에 대해 +1, 비이웃에 대해 -1을 할당한 K-최근접 이웃 그래프를 구축하고, 최대-최소 거리 측정을 사용하거나 사용하지 않은 채로 상관관계 클러스터링을 적용한다.

실험 결과

연구 질문

• RQ1 상관관계 클러스터링이 양의 상관관계와 음의 상관관계를 모두 다룰 수 있도록 계층적 클러스터링 구조를 생성할 수 있는가?
• RQ2 HCC에서 유도된 계층적 구조를 어떻게 임베딩하여 하류 작업의 표현 학습에서 트리 위상 구조를 유지할 수 있는가?
• RQ3 최대-최소 거리 측정이 복잡하고 길쭉한 클러스터 형상을 가진 데이터셋에서 상관관계 클러스터링의 성능을 향상시킬 수 있는가?
• RQ4 최대-최소 거리 측정과 상관관계 클러스터링의 조합이 비지도 클러스터링에서 하이퍼파라미터 조정이 필요 없도록 하는가?
• RQ5 실제 데이터셋과 시뮬레이션 데이터셋에서 HCC는 기준 클러스터링 방법에 비해 클러스터링 품질과 클러스터 수 탐지 능력 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• HCC는 기하학적으로 복잡하고 길쭉한 클러스터를 가진 데이터셋에서 완벽한 클러스터링을 달성하며(MI 및 랜드 지수 = 1), 표준 상관관계 클러스터링이 0.2 이하의 점수를 기록하는 것에 비해 뛰어난 성능을 보였다.
• 최대-최소 거리 측정과 상관관계 클러스터링의 조합은 복잡한 형상을 가진 모든 테스트 데이터셋에서 하이퍼파라미터 조정 없이도 완벽한 클러스터링을 달성했다.
• HCC+GMM는 HCC에서 유도된 특징를 혼합 가우시안 모델(GMM)에 입력하여 최종 클러스터링을 수행하는 방식으로, HCC만을 사용할 경우보다 약간 높은 클러스터링 점수를 기록했다.
• 15,000개의 웹 페이지로 구성된 웹 데이터셋에서 HCC와 HCC+GMM 모두 기준 방법보다 뛰어난 클러스터링 성능을 보였으며, 이는 본 방법의 확장성과 효과성을 입증한다.
• 1,024개의 차량 운동 궤적 데이터에서 HCC는 완벽한 정확도(MI = 랜드 지수 = 1)를 달성했으며, 세 가지 유형(좌측 드라이브바이, 우측 드라이브바이, 컷인)을 정확히 식별했다.
• HCC는 사전에 클러스터 수를 지정하지 않아도 정확한 클러스터 수를 자동으로 결정할 수 있어, 비지도 학습의 핵심 목표 중 하나를 충족시켰다.