[논문 리뷰] Variance-based Clustering Technique for Distributed Data Mining Applications

Lamine M. Aouad, Nhien‐An Le‐Khac외 1명|arXiv (Cornell University)|2017. 03. 28.

Data Mining Algorithms and Applications인용 수 8

한 줄 요약

이 논문은 통신 오버헤드를 최소화하면서 독립적인 국지적 클러스터링을 수행하고 최소 분산 증가를 기반으로 결과를 융합하는 분산 클러스터링 알고리즘을 제안한다. 국소 클러스터링의 편향을 줄이고 전역 분포 정확도를 향상시키기 위해 부분 클러스터 편향 기법을 도입하여, 느슨하게 결합된 분산 환경에서 기존의 중심 집중식 방법보다 훨씬 뛰어난 클러스터링 품질을 달성한다.

ABSTRACT

Nowadays, huge amounts of data are naturally collected in distributed sites due to different facts and moving these data through the network for extracting useful knowledge is almost unfeasible for either technical reasons or policies. Furthermore, classical par- allel algorithms cannot be applied, specially in loosely coupled environments. This requires to develop scalable distributed algorithms able to return the global knowledge by aggregating local results in an effective way. In this paper we propose a distributed algorithm based on independent local clustering processes and a global merging based on minimum variance increases and requires a limited communication overhead. We also introduce the notion of distributed sub-clusters perturbation to improve the global generated distribution. We show that this algorithm improves the quality of clustering compared to classical local centralized ones and is able to find real global data nature or distribution.

연구 동기 및 목표

• 기술적 또는 정책적 제약으로 인해 데이터 이동이 불가능한 대규모 분산 데이터를 채굴하는 데 도전하는 것.
• 기존의 병렬 알고리즘이 실패하는 느슨하게 결합된 환경에 적합한 확장 가능한 분산 클러스터링 알고리즘을 개발하는 것.
• 분산된 사이트 간의 높은 클러스터링 품질을 유지하면서 통신 오버헤드를 최소화하는 것.
• 분산 기반 융합 및 부분 클러스터 편향을 통해 전역 클러스터링 정확도를 향상시키는 것.

제안 방법

• 분산된 데이터 사이트에서 독립적인 국지 클러스터링을 수행하여 국지 클러스터 구조를 생성한다.
• 최소 분산 증가를 기반으로 하는 분산 기반 융합 전략을 사용하여 안정성과 정확도를 확보하는 최적의 전역 클러스터 조합을 선택한다.
• 전역 데이터 분포를 시뮬레이션하고 국지 클러스터링에서 발생하는 편향을 줄이기 위해 분산된 부분 클러스터 편향 기법을 도입한다.
• 최소 분산 증가를 우선시하는 전역 융합 과정을 통해 국지 결과를 집계한다.
• 오직 중심점, 분산 등의 필수 클러스터 통계 정보만을 사이트 간에 교환하는 통신 효율적인 프로토콜을 적용한다.
• 전체 데이터 전송을 피하고 통계 요약 자료에 의존함으로써 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 원시 데이터를 중앙 집중화하지 않고도 높은 품질의 전역 클러스터링을 달성할 수 있는가?
• RQ2 분산 기반 융합 전략은 분산 환경에서 전역 클러스터 구조의 정확도를 어떻게 향상시키는가?
• RQ3 부분 클러스터 편향은 전역 데이터 분포의 대표성에 얼마나 기여하는가?
• RQ4 느슨하게 결합된 분산 시스템에서 통신 오버헤드는 클러스터링 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 전통적인 국지 중심 집중식 클러스터링 방법보다 훨씬 뛰어난 클러스터링 품질을 달성한다.
• 분산 기반 융합 전략은 최소 분산 증가를 기반으로 최적의 전역 클러스터 조합을 효과적으로 식별한다.
• 부분 클러스터 편향은 전역 분포 모델링을 향상시켜 국지 데이터 기울기에서 발생하는 편향을 감소시킨다.
• 통신 오버헤드가 낮은 편이며, 원시 데이터가 아닌 클러스터 통계 정보만 사이트 간에 교환되기 때문이다.