[논문 리뷰] Clustering Multidimensional Data with PSO based Algorithm

Jayshree Ghorpade-Aher, Vishakha A. Metre|arXiv (Cornell University)|2014. 02. 26.

Advanced Clustering Algorithms Research참고 문헌 13인용 수 10

한 줄 요약

이 논문은 다차원 데이터의 클러스터링을 향상시키기 위해 초기 중심 탐지, 경계 제한, 적응형 파arameter 제어를 통합한 고도화된 입자군집최적화(PSO) 알고리즘인 SC-BR-APSO를 제안한다. 제안된 방법은 K-Means, 표준 PSO 및 기타 하이브리드 변형보다 낮은 오차율과 더 빠른 수렴 속도를 달성한다. 아홉 가지 벤치마크 데이터셋에서 검증되었다.

ABSTRACT

Data clustering is a recognized data analysis method in data mining whereas K-Means is the well known partitional clustering method, possessing pleasant features. We observed that, K-Means and other partitional clustering techniques suffer from several limitations such as initial cluster centre selection, preknowledge of number of clusters, dead unit problem, multiple cluster membership and premature convergence to local optima. Several optimization methods are proposed in the literature in order to solve clustering limitations, but Swarm Intelligence (SI) has achieved its remarkable position in the concerned area. Particle Swarm Optimization (PSO) is the most popular SI technique and one of the favorite areas of researchers. In this paper, we present a brief overview of PSO and applicability of its variants to solve clustering challenges. Also, we propose an advanced PSO algorithm named as Subtractive Clustering based Boundary Restricted Adaptive Particle Swarm Optimization (SC-BR-APSO) algorithm for clustering multidimensional data. For comparison purpose, we have studied and analyzed various algorithms such as K-Means, PSO, K-Means-PSO, Hybrid Subtractive + PSO, BRAPSO, and proposed algorithm on nine different datasets. The motivation behind proposing SC-BR-APSO algorithm is to deal with multidimensional data clustering, with minimum error rate and maximum convergence rate.

연구 동기 및 목표

• 기존 K-Means 및 PSO의 한계를 해결하기 위해 다차원 데이터 클러스터링에서 초기 클러스터 중심에 대한 민감성과 조기 수렴 문제를 해결한다.
• 사전에 클러스터 수를 지정하거나 국소 최적해에 갇히는 문제, 다중 클러스터 소속성 등의 문제를 지능적인 최적화를 통해 극복한다.
• 효율적인 초기화와 경계 제약 조건을 활용해 효과적인 탐색 효율성을 향상시키는 강력하고 적응형 PSO 변형을 개발한다.
• 기존의 PSO 기반 및 하이브리드 클러스터링 방법과 비교해 다양한 다차원 데이터셋에서 더 높은 클러스터링 정확도와 더 빠른 수렴 속도를 달성한다.

제안 방법

• PSO 프레임워크 내에서 잠재적 클러스터 중심을 초기 입자 위치로 식별하기 위해 부가적 클러스터링(Subtractive Clustering)을 적용한다.
• 입자 이동을 탈락 가능한 해법 공간 내에 제한하기 위해 경계 제한을 도입하여 범위를 초월한 탐색을 방지한다.
• 수렴 진전에 따라 동적으로 조정되는 적응형 파arameter(관성 가중치 및 가속도 계수)를 구현한다.
• 클러스터 품질 평가 및 입자 갱신을 안내하기 위해 클러스터 내 제곱합(WCSS) 기반의 적합도 함수를 사용한다.
• 개인 최적 및 전역 최적 위치에 의해 안내되는 속도 및 위치 갱신을 통해 입자들이 진화하는 하이브리드 탐색 메커니즘을 통합한다.
• 수렴 기준이 충족될 때까지 반복 최적화를 수행하며, 최종 클러스터는 전역 최적 입자에 의해 결정된다.

실험 결과

연구 질문

• RQ1 부가적 클러스터링은 랜덤 초기화에 비해 PSO 기반 클러스터링에서 초기 클러스터 중심 선택을 향상시키는가?
• RQ2 경계 제한은 다차원 클러스터링에서 수렴 안정성과 해 품질 향상에 어느 정도 기여하는가?
• RQ3 PSO에서의 적응형 파arameter 제어는 조기 수렴을 줄이고 클러스터링 정확도를 향상시키는 데 어떻게 기여하는가?
• RQ4 SC-BR-APSO는 다차원 데이터셋에서 K-Means, 표준 PSO 및 하이브리드 PSO 변형과 비교해 성능 면에서 어떻게 다른가?
• RQ5 제안된 알고리즘은 클러스터 수에 대한 사전 지식 없이도 낮은 오차율과 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• SC-BR-APSO는 K-Means, PSO, K-Means-PSO, 하이브리드 부가적 + PSO, BRAPSO와 비교해 아홉 가지 벤치마크 데이터셋 전반에서 가장 낮은 오차율을 기록했다.
• 알고리즘은 가장 빠른 수렴 속도를 보이며, 클러스터 구성의 효율적 최적화를 나타냈다.
• 부가적 클러스터링은 초기 중심 선택을 크게 향상시켜 랜덤 초기화에 대한 민감성을 감소시켰다.
• 경계 제한과 적응형 파arameter 제어는 입자가 발산하거나 국소 최적해에 갇히는 가능성을 줄였다.
• K-Means-PSO 및 하이브리드 부가적 + PSO보다 정확도와 수렴 속도 면에서 모두 뛰어난 성능을 보였다.
• SC-BR-APSO는 클러스터 수에 대한 사전 지식 없이도 다양한 다차원 데이터셋에서 뛰어난 성능을 유지도했다.