[논문 리뷰] An Effective Evolutionary Clustering Algorithm: Hepatitis C Case Study

M. H. Marghny, Rasha M. Abd El-Aziz외 1명|arXiv (Cornell University)|2014. 02. 27.

Advanced Clustering Algorithms Research참고 문헌 27인용 수 13

한 줄 요약

이 논문은 K-means의 초기 군집 중심을 최적화하기 위해 유전 알고리즘(GAs)을 사용하는 진화적 군집화 알고리즘을 제안한다. 이는 대규모 및 노이즈가 많은 데이터에서 성능을 향상시킨다. 간염 C 데이터셋에 적용된 결과, 초기 조건에 대한 민감도가 감소하고, 국소 평균 보간을 통해 결측치를 처리하며, 기존 K-means보다 더 안정적이고 정확한 군집화 결과를 달성한다.

ABSTRACT

Clustering analysis plays an important role in scientific research and commercial application. K-means algorithm is a widely used partition method in clustering. However, it is known that the K-means algorithm may get stuck at suboptimal solutions, depending on the choice of the initial cluster centers. In this article, we propose a technique to handle large scale data, which can select initial clustering center purposefully using Genetic algorithms (GAs), reduce the sensitivity to isolated point, avoid dissevering big cluster, and overcome deflexion of data in some degree that caused by the disproportion in data partitioning owing to adoption of multi-sampling. We applied our method to some public datasets these show the advantages of the proposed approach for example Hepatitis C dataset that has been taken from the machine learning warehouse of University of California. Our aim is to evaluate hepatitis dataset. In order to evaluate this dataset we did some preprocessing operation, the reason to preprocessing is to summarize the data in the best and suitable way for our algorithm. Missing values of the instances are adjusted using local mean method.

연구 동기 및 목표

• 초기 군집 중심 선택에 민감한 K-means 군집화 문제를 해결하여 종종 부분 최적해에 수렴하는 것을 방지한다.
• 고립된 데이터 포인트의 영향을 줄이고, 군집화 과정에서 큰 군집의 분열을 방지한다.
• 군집화 워크플로우에서 다중 샘플링으로 인한 데이터 분포 편향을 완화한다.
• 실제 생물의학 데이터셋, 특히 UCI 기계학습 저장소에서 제공하는 간염 C 데이터셋에서의 군집화 성능을 향상시킨다.
• 초기 중심점의 진화적 최적화를 통해 군집화 결과의 강인성과 안정성을 향상시킨다.

제안 방법

• K-means의 무작위 초기화를 대체하기 위해, 최적의 초기 군집 중심을 탐색하기 위해 유전 알고리즘(GAs)을 활용한다.
• 군집 품질 평가를 위해 군집 내 제곱합(WCSS) 기반의 적합도 함수를 사용한다.
• 간염 C 데이터셋의 결측치를 처리하기 위해 국소 평균 보간을 적용하여 군집화 이전에 데이터의 완전성을 확보한다.
• 군집화 안정성 평가 및 불균형한 데이터 분할로 인한 편향 감소를 위해 다중 샘플링 기법을 통합한다.
• GA 최적화 초기화와 표준 K-means 반복을 조합하여 군집 할당을 정밀하게 개선한다.
• 하이브리드 접근 방식을 통해 GA가 WCSS를 최소화하도록 중심 위치를 진화시켜 더 나은 국소 최적해에 수렴하도록 한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘 기반 초기화가 대규모 생물의학 데이터셋에서 K-means 군집화의 품질을 크게 향상시킬 수 있는가?
• RQ2 기존 K-means에 비해 제안된 방법이 초기 군집 중심 선택에 대해 얼마나 감소된 민감도를 보이는가?
• RQ3 노이즈가 많거나 고립된 데이터 포인트가 존재할 경우, 이 방법이 큰 군집을 유지하고 분열을 방지하는 데 얼마나 효과적인가?
• RQ4 다중 샘플링과 유전 알고리즘 기반 초기화를 조합함으로써, 불균형한 데이터 분할으로 인한 군집화 결과의 편향을 얼마나 줄일 수 있는가?
• RQ5 기존 K-means에 비해 제안된 알고리즘이 간염 C 데이터셋에서 더 높은 군집화 정확도와 안정성을 달성할 수 있는가?

주요 결과

• 제안된 GA 초기화 K-means 방법은 간염 C 데이터셋에서 기존 K-means에 비해 더 안정적이고 정확한 군집화 결과를 달성했다.
• 알고리즘이 초기 군집 중심 선택에 대한 민감도를 감소시켜 열악한 국소 최적해에 수렴하는 것을 최소화했다.
• 국소 평균 보간은 간염 C 데이터셋의 결측치를 효과적으로 처리하여 군집화에 적합한 데이터 품질을 향상시켰다.
• GA 기반 초기화와 다중 샘플링을 조합함으로써 불균형한 데이터 분할로 인한 편향을 줄이고 결과의 일관성을 향상시켰다.
• 이 방법은 고립된 데이터 포인트로 인한 분열을 최소화하면서도 큰 군집을 유지하는 데 있어 향상된 강인성을 보였다.
• WCSS 및 다수의 실행에서의 안정성으로 측정된 군집화 품질 측면에서 하이브리드 GA-K-means 접근 방식이 전통적 K-means를 능가했다.