[논문 리뷰] Performance Comparisons of PSO based Clustering

Suresh Chandra Satapathy, Gunanidhi Pradhan외 3명|arXiv (Cornell University)|2010. 01. 29.

Metaheuristic Optimization Algorithms Research참고 문헌 7인용 수 7

한 줄 요약

이 논문은 실수 및 인위적 데이터셋 다섯 개에 대해 K-means와 비교하여 데이터 클러스터링을 위한 입자군집최적화(PSO) 변종—gbest, lbest ring, lbest von Neumann, Hybrid PSO—의 성능을 평가한다. 정량화 오차와 클러스터 간 거리 측정 기준으로 평가한 결과, PSO 기반 방법이 K-means보다 클러스터링 품질에서 뛰어나며, 대부분의 데이터셋에서 lbest von Neumann가 가장 낮은 정량화 오차를 기록했고, Wine 및 Hayes Roth 데이터셋에서는 Hybrid PSO가 뛰어난 성능을 보였다.

ABSTRACT

In this paper we have investigated the performance of PSO Particle Swarm Optimization based clustering on few real world data sets and one artificial data set. The performances are measured by two metric namely quantization error and inter-cluster distance. The K means clustering algorithm is first implemented for all data sets, the results of which form the basis of comparison of PSO based approaches. We have explored different variants of PSO such as gbest, lbest ring, lbest vonneumann and Hybrid PSO for comparison purposes. The results reveal that PSO based clustering algorithms perform better compared to K means in all data sets.

연구 동기 및 목표

• PSO 및 그 변종의 비지도 데이터 클러스터링에서의 효과성을 평가하기 위해.
• 주어진 목적 함수 기반으로 PSO 기반 클러스터링을 기존 K-means 알고리즘과 비교하기 위해.
• PSO가 K-means의 초기 중심 선택에 대한 민감성과 국소 최적해에 갇힐 위험을 줄이는지 평가하기 위해.
• 다양한 PSO 토폴로지(gbest, lbest ring, lbest von Neumann)와 하이브리드화가 클러스터링 성능에 미치는 영향을 조사하기 위해.
• 미래 연구에서 PSO를 활용해 최적의 클러스터 수를 동적으로 결정할 잠재력을 탐색하기 위해.

제안 방법

• 정량화 오차 기반 적합도 함수를 최소화함으로써 클러스터 중심 위치를 최적화하기 위해 PSO를 적용하였다.
• 데이터 포인트와 클러스터 중심 간 유사도 측정으로 유클리드 거리를 사용하였다.
• gbest, lbest ring, lbest von Neumann, K-means로 초기화된 시드를 가진 하이브리드 PSO를 포함한 다섯 가지 PSO 변종을 구현하였다.
• 적합도 함수를 데이터 포인트와 그에 할당된 클러스터 중심 간 제곱 거리의 합으로 정의하였다.
• 수렴 안정성을 확보하기 위해 시간에 따라 변화하는 관성 가중치(0.9에서 0.4로 변화)와 고정된 가속 계수(c1 = c2 = 1.042)를 적용하였다.
• 모든 알고리즘을 1000회 함수 평가, 10개의 입자로 설정하고 30회 시뮬레이션 평균을 산출하였다.

실험 결과

연구 질문

• RQ1 PSO 기반 클러스터링은 다양한 데이터셋에서 K-means보다 낮은 정량화 오차를 달성하는가?
• RQ2 다양한 PSO 토폴로지(gbest, lbest ring, lbest von Neumann)는 클러스터링 성능에서 어떻게 비교되는가?
• RQ3 K-means 결과로 초기화된 하이브리드 PSO는 Wine 및 Hayes Roth와 같은 복잡한 데이터셋에서 클러스터링 품질을 향상시키는가?
• RQ4 PSO 변종은 K-means에 비해 초기 조건에 대해 얼마나 민감도가 낮은가?
• RQ5 정량화 오차와 클러스터 간 거리 측정 모두에서 다른 변종보다 뛰어난 일관된 PSO 변종이 존재하는가?

주요 결과

• PSO 기반 클러스터링은 모든 다섯 개인 실수 데이터셋과 하나의 인위적 데이터셋에서 K-means보다 낮은 정량화 오차를 지속적으로 달성하였다.
• Iris, Diabetes, 그리고 인위적 데이터셋에서 lbest von Neumann PSO가 가장 낮은 정량화 오차를 기록하여 모든 다른 PSO 변종을 능가하였다.
• Wine 및 Hayes Roth 데이터셋에서는 하이브리드 PSO가 정량화 오차와 클러스터 간 거리 양 측면에서 최상의 결과를 보였다.
• 30회 시뮬레이션 동안의 표준편차는 항상 낮았으며, 이는 PSO 기반 알고리즘이 안정적으로 수렴함을 시사한다.
• 특히 lbest von Neumann 및 하이브리드 PSO가 클러스터 간 거리를 최대화하여 더 나은 클러스터 분리 성능을 보였다.
• 결과는 PSO가 나쁜 초기화로 인해 국소 최적해에 갇힐 가능성이 있는 K-means의 성향을 완화함을 확인한다.