[논문 리뷰] A flexible EM-like clustering algorithm for noisy data

Violeta Roizman, Matthieu Jonckheere외 1명|arXiv (Cornell University)|2019. 07. 02.

Bayesian Methods and Mixture Models인용 수 8

한 줄 요약

이 논문은 전통적인 가우시안 혼합 모델(GMM) 클러스터링을 개선하기 위해 각 데이터 포인트별로 반모수적 척도 매개변수 추정을 통합함으로써 노이즈, 이방치, 두꺼운 尾(heavy-tailed) 분포를 효과적으로 다룰 수 있는 강건한 EM 유사 클러스터링 알고리즘을 제안한다. 이 방법은 MNIST, NORB, 20newsgroups를 포함한 다양한 데이터 세트에서 높은 성능을 유지하며, 시뮬레이션 및 실제 시나리오에서 k-means, 표준 EM-GMM, 스펙트럴 클러스터링보다 뛰어난 성능을 보인다.

ABSTRACT

Though very popular, it is well known that the EM for GMM algorithm suffers from non-Gaussian distribution shapes, outliers and high-dimensionality. In this paper, we design a new robust clustering algorithm that can efficiently deal with noise and outliers in diverse data sets. As an EM-like algorithm, it is based on both estimations of clusters centers and covariances. In addition, using a semi-parametric paradigm, the method estimates an unknown scale parameter per data-point. This allows the algorithm to accommodate for heavier tails distributions and outliers without significantly loosing efficiency in various classical scenarios. We first derive and analyze the proposed algorithm in the context of elliptical distributions, showing in particular important insensitivity properties to the underlying data distributions. We then study the convergence and accuracy of the algorithm by considering first synthetic data. Then, we show that the proposed algorithm outperforms other classical unsupervised methods of the literature such as k-means, the EM for Gaussian mixture models and its recent modifications or spectral clustering when applied to real data sets as MNIST, NORB, and 20newsgroups.

연구 동기 및 목표

• 표준 EM이 비정규 분포, 이방치, 고차원 노이즈를 다루는 데에 한계가 있는 문제를 해결하기 위해.
• 강건한 성능을 유지를 위해 두꺼운 尾 분포와 다양한 클러스터 크기 변화에 대해 효율성을 잃지 않도록 클러스터링 알고리즘을 개발하기 위해.
• 강한 노이즈와 구조적 변동성이 높은 실제 데이터에서 정확도와 안정성을 향상시키기 위해.
• 각 데이터 포인트별 척도 변화에 적응할 수 있는 탄력적인 EM 유사 프레임워크를 제공하기 위해.

제안 방법

• 알고리즘은 EM 유사 반복 절차를 사용하여 클러스터 중심과 공분산 행렬을 추정한다.
• 개별 관측치의 불확실성을 모델링하고 두꺼운 尾 분포를 수용하기 위해 각 데이터 포인트별 반모수적 척도 매개변수를 도입한다.
• 타원형 분포를 가정하고, 타일러의 정리를 활용하여 강건한 산란 행렬 추정을 보장한다.
• 성분 가중치와 책임을 반영한 수정된 가능도를 사용하여 업데이트하는 가능도 기반 프레임워크를 사용한다.
• 극단적인 관측치를 적응적인 척도 추정을 통해 가중치를 낮춤으로써 외곽치에 대한 민감도를 감소시키는 강건한 추정 전략을 적용한다.
• 타원형 분포 가정 하에 수렴성을 분석하였으며, 일致성과 점근 정규성에 대한 이론적 보장을 확보하였다.

실험 결과

연구 질문

• RQ1 클러스터링 작업에서 이방치와 비정규적 두꺼운 尾 분포에 대해 강건한 EM 유사 알고리즘은 어떻게 설계할 수 있는가?
• RQ2 고차원 또는 노이즈가 많은 데이터에서 각 데이터 포인트별 척도 추정은 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 실제 데이터에서 전통적인 클러스터링 알고리즘인 k-means, EM-GMM, 스펙트럴 클러스터링과 비교해 제안된 방법은 어떻게 성능을 내는가?
• RQ4 클러스터 형태, 크기, 노이즈 수준이 변화하는 상황에서도 알고리즘이 얼마나 높은 성능을 유지하는가?
• RQ5 반모수적 접근 방식은 계산 복잡도를 크게 증가시키지 않으면서도 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 MNIST, NORB, 20newsgroups 데이터셋에서 k-means, EM-GMM, 스펙트럴 클러스터링보다 클러스터링 정확도 측면에서 뚜렷한 우월성을 보였다.
• 특히 두꺼운 尾 및 비정규 조건에서 데이터 분포 형태에 대한 민감도가 낮아, 강건한 성능을 유감없이 보였다.
• 각 데이터 포인트별 척도 추정을 통해 외곽치에 대한 강건성이 확보되었으며, 클러스터 구조를 왜곡하지 않고 극단적 관측치의 영향을 효과적으로 감소시켰다.
• 기존 GMM-EM이 공분산 추정이 열악하여 실패하는 고차원 환경에서도 높은 성능을 유지하였다.
• 이론적 분석을 통해 타원형 분포 하에서 수렴성과 일치성을 확인하였으며, 추정기의 점근 정규성도 입증되었다.
• 실험 결과, 특히 노이즈와 외곽치가 존재하는 상황에서 EM-GMM 및 최근의 변종보다 더 뛰어난 클러스터링 품질을 달성하였다.