[논문 리뷰] Farthest-Point Heuristic based Initialization Methods for K-Modes Clustering

Zengyou He|ArXiv.org|2006. 10. 09.

Advanced Clustering Algorithms Research참고 문헌 12인용 수 24

한 줄 요약

이 논문은 k-modes 군집화 알고리즘의 초기화 방법으로 가장 먼 점 히우리스틱 기반의 방법을 제안하여 무작위 초기 중심 선택에 대한 민감성을 줄이고 군집 정확도를 향상시킨다. 실험 결과, 다양한 데이터셋에서 랜덤 초기화보다 일관되게 더 나은 군집 결과를 얻는 것으로 나타났다.

ABSTRACT

The k-modes algorithm has become a popular technique in solving categorical data clustering problems in different application domains. However, the algorithm requires random selection of initial points for the clusters. Different initial points often lead to considerable distinct clustering results. In this paper we present an experimental study on applying a farthest-point heuristic based initialization method to k-modes clustering to improve its performance. Experiments show that new initialization method leads to better clustering accuracy than random selection initialization method for k-modes clustering.

연구 동기 및 목표

• 무작위 초기 중심 선택에 대한 민감성으로 인해 종종 최적의 군집 결과를 도출하지 못하는 k-modes 군집화 문제를 해결하기 위함.
• 가장 먼 점 히우리스틱 기반의 결정론적 초기화 전략이 군집 성능 향상에 기여할 수 있는지 조사하기 위함.
• 제안된 초기화 방법이 범주형 데이터의 군집 정확도 향상에 얼마나 효과적인지 평가하기 위함.
• 랜덤 선택에 비해 더 안정적이고 신뢰할 수 있는 초기화 방법을 제공하기 위함.

제안 방법

• 가장 먼 점 히우리스틱을 적용하여, 이미 선택된 중심들로부터 가장 거리가 먼 데이터 포인트를 반복적으로 선택함으로써 초기 군집 중심을 선정함.
• 알고리즘은 처음에 모든 다른 점들과의 거리 합이 가장 큰 데이터 포인트를 첫 번째 중심으로 선택함.
• 이후 중심들은 이미 선택된 중심들로부터의 최소 거리가 최대가 되는 점으로 선택됨.
• 선택된 초기 중심들은 이후 k-modes 알고리즘의 군집화를 위해 초기화에 사용됨.
• 이 방법은 초기 군집 중심 간의 다양성을 보장하여 열악한 국소 최적해로 수렴할 가능성을 줄임.

실험 결과

연구 질문

• RQ1 가장 먼 점 히우리스틱 초기화 방법이 k-modes 군집화에서 랜덤 초기화에 비해 군집 정확도 향상에 기여하는가?
• RQ2 제안된 초기화 방법은 k-modes 군집화의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 가장 먼 점 히우리스틱은 k-modes의 초기 중심 선택에 대한 의존도를 줄일 수 있는가?
• RQ4 다양한 범주형 데이터셋에서 제안된 방법의 성능 향상은 어느 정도인가?

주요 결과

• 가장 먼 점 히우리스틱 초기화 방법은 k-modes 군집화에서 랜덤 초기화에 비해 군집 정확도를 크게 향상시킴.
• 다양한 실행에서 군집 결과의 분산을 줄여 안정성이 향상됨을 나타냄.
• 다양한 데이터셋에 대한 실험 결과, 가장 먼 점 히우리스틱을 사용할 경우 일관된 성능 향상이 관찰됨.
• 이 방법은 k-modes 군집화에서 열악한 초기 중심 선택의 부정적 영향을 효과적으로 완화함.