[논문 리뷰] Incremental Cluster Validity Indices for Hard Partitions: Extensions and Comparative Study

Leonardo Enzo Brito da Silva, Niklas Melton외 1명|arXiv (Cornell University)|2019. 02. 18.

Advanced Clustering Algorithms Research참고 문헌 76인용 수 5

한 줄 요약

이 논문은 데이터 스트림에서의 온라인 클러스터링 평가를 위해 여섯 가지 클러스터 유효성 지표—iCH, iI, iPBM, iSIL, iNI, irCIP, irH, 및 iConn_Index—의 인크리멘탈(증분) 형태를 제안한다. 비교 연구를 통해 fuzzy ART를 사용한 결과, 오직 iConn_Index만이 과분할을 신뢰성 있게 탐지하는 반면, 대부분의 지표들은 부족분할을 신호로 내보내며, 스트리밍 환경에서의 강력한 검증을 위해 다중 iCVIs를 동시에 모니터링할 필요성을 강조한다.

ABSTRACT

Validation is one of the most important aspects of clustering, but most approaches have been batch methods. Recently, interest has grown in providing incremental alternatives. This paper extends the incremental cluster validity index (iCVI) family to include incremental versions of Calinski-Harabasz (iCH), I index and Pakhira-Bandyopadhyay-Maulik (iI and iPBM), Silhouette (iSIL), Negentropy Increment (iNI), Representative Cross Information Potential (irCIP) and Representative Cross Entropy (irH), and Conn_Index (iConn_Index). Additionally, the effect of under- and over-partitioning on the behavior of these six iCVIs, the Partition Separation (PS) index, as well as two other recently developed iCVIs (incremental Xie-Beni (iXB) and incremental Davies-Bouldin (iDB)) was examined through a comparative study. Experimental results using fuzzy adaptive resonance theory (ART)-based clustering methods showed that while evidence of most under-partitioning cases could be inferred from the behaviors of all these iCVIs, over-partitioning was found to be a more challenging scenario indicated only by the iConn_Index. The expansion of incremental validity indices provides significant novel opportunities for assessing and interpreting the results of unsupervised learning.

연구 동기 및 목표

• 기존의 iDB 및 iXB 이외의 여섯 가지 지표의 인크리멘탈 형태를 개발하여 인크리멘탈 클러스터 유효성 지표(iCVI)의 가족을 확장하는 것.
• 정확한 분할, 과분할, 그리고 부족분할의 세 가지 클러스터링 시나리오 하에서 이 새로운 iCVIs의 행동을 평가하는 것.
• 데이터 스트림 응용 프로그램에서 퍼지 적응형 레조네스 이론(ART) 기반 클러스터링을 사용하여 iXB 및 iDB 포함 총 10개의 iCVIs 성능을 비교하는 것.
• 배치(batch) 및 인크리멘탈 구현 간 Conn_Index의 일관성을 평가하여 온라인 모니터링에 대한 신뢰성을 확보하는 것.
• 실시간 비지도 학습 환경에서 클러스터링 품질 문제를 탐지하기 위해 다중 iCVIs를 사용하는 실용적 지침을 제공하는 것.

제안 방법

• Calinski-Harabasz, 실루엣, Conn_Index 등의 CVI를 위한 연속적 계산을 가능하게 하기 위해 밀도 및 분리도 측정의 재귀적 공식을 개발함.
• 기존의 배치 기반 CVI(예: CH, DB, I, PBM, Negentropy, CIP, H)를 중심점, 클러스터 크기, 거리 측정의 재귀적 업데이트를 활용해 인크리멘탈 형태로 변환함.
• 변동 가능한 경계값을 가진 퍼지 적응형 레조네스 이론(fuzzy adaptive resonance theory) 클러스터링을 활용해 정확한, 과분할, 과소분할 케이스를 포함한 제어된 분할 시나리오를 생성함.
• 퍼지 SMART 알고리즘을 증분적으로 학습시켜 각 샘플 제시 후 클러스터 프로토타입과 유효성 지표를 업데이트함으로써 실시간 데이터 스트림을 시뮬레이션함.
• 각 지표의 배치 및 인크리멘탈 형태를 계산하여 추세와 일관성을 비교하고, 피어슨 상관계수 및 평균 제곱오차(MSE)를 사용해 검증함.
• 다양한 경계값 수준에서 지표 행동을 분석하여 인크리멘탈 구현의 민감도 및 강건성을 평가함.

실험 결과

연구 질문

• RQ1 재귀적 공식을 사용해 Calinski-Harabasz, I 지표, Pakhira-Bandyopadhyay-Maulik, 실루엣, Negentropy Increment, Representative Cross Information Potential, Representative Cross Entropy, 및 Conn_Index의 인크리멘탈 형태를 성공적으로 유도할 수 있는가?
• RQ2 정확한 클러스터 수가 탐지될 때 인크리멘탈 클러스터링 과정 중에 제안된 iCVIs는 어떻게 행동하는가?
• RQ3 온라인 클러스터링 중에 iCVIs는 부족분할(너무 적은 수의 클러스터)을 탐지할 수 있으며, 어떤 지표가 이 문제를 가장 효과적으로 신호로 내는가?
• RQ4 어떤 iCVI도 과분할(너무 많은 수의 클러스터)을 탐지할 수 있으며, 만약 그렇다면 어떤 지표가 가장 신뢰할 수 있는 신호를 제공하는가?
• RQ5 다양한 클러스터링 정밀도 및 데이터 스트림 조건에서 인크리멘탈 Conn_Index는 그 배치 대응 지표의 행동을 얼마나 정확히 따라가는가?

주요 결과

• 평가된 10개의 지표 중에서 유일하게 과분할을 일관되게 탐지 가능한 신호를 제공한 것은 인크리멘탈 Conn_Index(iConn_Index)였으며, 한 가지 특정한 부족분할 케이스는 탐지하지 못함.
• iCH, iSIL, iI, iPBM, iNI, irCIP, iXB 등 대부분의 iCVIs는 클러스터 생성 시 급격한 변화를 보이며, 감소 추세를 통해 부족분할을 효과적으로 신호로 내보냄.
• iXB 및 irCIP 지표는 가장 시각적으로 정보가 적은 편이었으며, 최소 또는 모호한 행동 패tern을 보여 주어 진단적 가치가 거의 없었음.
• iConn_Index는 다양한 경계값 수준에서 배치 대응 지표의 일반적 추세를 높은 피어슨 상관계수와 낮은 MSE로 정밀하게 따라가며, 온라인 모니터링에 대한 신뢰성을 입증함.
• 단일 iCVI에 의존하는 것은 부족하며, 스트리밍 환경에서의 클러스터링 품질 문제를 강력하게 탐지하기 위해 다중 지표를 동시에 모니터링하는 것이 필수적임을 확인함.
• iCH, iI, iPBM, iSIL, iNI, irCIP, irH, iConn_Index 등 총 여덟 개의 새로운 지표의 인크리멘탈 공식은 안정적이며, 특히 퍼지 ART 클러스터링에서 중간에서 높은 경계값 수준에서 배치 형태와 일관됨.