[논문 리뷰] The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms

Xin Han, Ye Zhu외 2명|arXiv (Cornell University)|2020. 10. 12.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 밀도가 다양한 클러스터를 포함한 데이터셋에서 전통적인 AHC가 조밀한 클러스터를 먼저 병합하는 경향이 있어 계층도 품질이 떨어지는 문제를 해결하기 위해, 고밀도 지역에 적응하는 데이터 의존적 커널인 Isolation Kernel을 계층적 군집화에서 거리 기반 연결 방식 대신 도입한다. 실험적 평가 결과, Isolation Kernel은 거리, 가우시안 커널, 적응형 가우시안 커널보다도 여러 AHC 알고리즘에서 계층도 순도를 크게 향상시킨다.

ABSTRACT

Agglomerative hierarchical clustering (AHC) is one of the popular clustering approaches. Existing AHC methods, which are based on a distance measure, have one key issue: it has difficulty in identifying adjacent clusters with varied densities, regardless of the cluster extraction methods applied on the resultant dendrogram. In this paper, we identify the root cause of this issue and show that the use of a data-dependent kernel (instead of distance or existing kernel) provides an effective means to address it. We analyse the condition under which existing AHC methods fail to extract clusters effectively; and the reason why the data-dependent kernel is an effective remedy. This leads to a new approach to kernerlise existing hierarchical clustering algorithms such as existing traditional AHC algorithms, HDBSCAN, GDL and PHA. In each of these algorithms, our empirical evaluation shows that a recently introduced Isolation Kernel produces a higher quality or purer dendrogram than distance, Gaussian Kernel and adaptive Gaussian Kernel.

연구 동기 및 목표

• 밀도가 다양한 클러스터를 포함한 데이터셋에서 전통적 계층적 군집화(T-AHC)가 진정한 클러스터를 효과적으로 추출하지 못하는 근본 원인을 규명하고 공식적으로 분석하는 것.
• T-AHC에서 조밀한 영역을 먼저 병합하는 편향이 데이터 독립적 거리 또는 커널 측정 방식을 사용하기 때문이라는 것을 입증하는 것.
• 기존 AHC 알고리즘의 핵심 연결 함수를 수정하지 않고도 적용 가능한 일반적이고 즉시 통합 가능한 솔루션으로 Isolation Kernel을 제안하는 것.
• 여러 AHC 알고리즘에서 거리, 가우시안 커널, 적응형 가우시안 커널과의 비교를 통해 Isolation Kernel이 계층도 순도 향상에 얼마나 효과적인지 평가하는 것.
• 계층도 순도와 강하게 상관관계를 가지는 공식적 지표인 'entanglement 수'와 '평균 엔트레인먼트 수준'을 설정하여 군집 품질의 객관적 평가를 가능하게 하는 것.

제안 방법

• 계층도에서 서로 다른 진정한 클러스터의 점을 포함한 서브트리가 존재할 경우를 'entanglement'로 정의하여 군집 병합의 심각도를 정량화하는 개념을 도입한다.
• entanglement의 두 가지 지표인 entanglement 수와 평균 엔트레인먼트 수준을 정의하며, 이들이 계층도 순도와 높은 상관관계를 보임을 입증한다.
• 지역 밀도에 적응하는 데이터 의존적 커널인 Isolation Kernel을 제안하여 조밀한 클러스터를 조기에 병합하는 편향을 줄인다.
• 단일 연결 AHC, 완전 연결 AHC, HDBSCAN, GDL, PHA 등 네 가지 기존 AHC 알고리즘에 대해 Isolation Kernel을 거리 측정 방식의 대체로 적용하며, 알고리즘의 핵심 구조는 그대로 유지한다.
• 모든 방법 간의 공정한 복잡도 비교를 위해 거리 행렬을 입력으로 사용하여 일관된 계산 평가를 보장한다.
• 다양한 커널 유형 간 F1 점수의 성능 차이에 대한 통계적 유의성을 평가하기 위해 프리드먼 검정과 사후 Nemenyi 검정을 실시한다.

실험 결과

연구 질문

• RQ1 밀도가 다양한 클러스터를 포함한 데이터셋에서 전통적 AHC가 진정한 클러스터를 효과적으로 추출하지 못하는 공식적 조건는 무엇인가?
• RQ2 왜 데이터 독립적 거리 또는 커널 측정 방식을 사용할 경우 AHC에서 조밀한 클러스터가 희박한 클러스터보다 먼저 병합되는 편향이 발생하는가?
• RQ3 Isolation Kernel은 데이터 의존적 커널로서 AHC 알고리즘의 밀도 편향을 어떻게 완화하는가?
• RQ4 Isolation Kernel을 거리 측정 방식으로 대체함으로써 여러 AHC 알고리즘에서 계층도 순도가 얼마나 향상되는가?
• RQ5 entanglement 지표(수와 평균 수준)는 계층도 순도와 통계적으로 상관관계가 있는가? 이는 객관적 평가 지표로 사용될 수 있는가?

주요 결과

• 모든 테스트된 AHC 알고리즘에서 Isolation Kernel은 거리, 가우시안 커널, 적응형 가우시안 커널보다 계층도 순도를 크게 향상시킨다.
• 사후 Nemenyi 검정 결과, α=0.10 수준에서 Isolation Kernel은 모든 다른 측정 방식보다 통계적으로 유의하게 뛰어나며, 나머지 커널 간 유의미한 차이는 없었다.
• entanglement 수와 평균 엔트레인먼트 수준은 계층도 순도와 높은 상관관계를 보이며, 군집 품질 평가의 진단 지표로 사용될 수 있음을 검증했다.
• Isolation Kernel은 앙상블 구조를 가지므로 약간의 런타임 오버헤드가 있지만, GPU 가속이 가능하여 성능 우려를 완화시킬 수 있다.
• 제안된 방법은 일반적이다: 기존 AHC 알고리즘의 연결 함수나 알고리즘 아키텍처를 수정하지 않고도 거리 측정 방식을 Isolation Kernel로 대체함으로써 군집 품질을 향상시킬 수 있다.
• 실험 결과, Isolation Kernel은 WDBC, Banknote, Segment, Spam 등 네 개의 실세계 데이터셋에서 기존 커널을 모두 능가하며, 모든 알고리즘에서 일관된 F1 점수 향상이 확인되었다.