[논문 리뷰] Robust and Efficient Fuzzy C-Means Clustering Constrained on Flexible Sparsity

Jinglin Xu, Junwei Han외 3명|arXiv (Cornell University)|2019. 08. 19.

Face and Expression Recognition참고 문헌 52인용 수 6

한 줄 요약

이 논문은 이상치에 강건하고 효율적인 퍼지 c-의미 클러스터링 알고리즘인 REFCMFS를 제안한다. 이 알고리즘은 이상치에 강건한 $L_{2,1}$-노름 손실과 구성원 행렬에 대한 직접적인 $L_0$-노름 제약을 통합하여 탄력적인 희박성(스퍼스티)을 달성한다. $L_0$-노름을 근사하지 않고 순위 함수를 통해 통합함으로써, REFCMFS는 여러 기준 데이터셋에서 최신 기술 대비 뛰어난 클러스터링 정확도와 더 빠른 수렴 속도를 달성한다.

ABSTRACT

Clustering is an effective technique in data mining to group a set of objects in terms of some attributes. Among various clustering approaches, the family of K-Means algorithms gains popularity due to simplicity and efficiency. However, most of existing K-Means based clustering algorithms cannot deal with outliers well and are difficult to efficiently solve the problem embedded the $L_0$-norm constraint. To address the above issues and improve the performance of clustering significantly, we propose a novel clustering algorithm, named REFCMFS, which develops a $L_{2,1}$-norm robust loss as the data-driven item and imposes a $L_0$-norm constraint on the membership matrix to make the model more robust and sparse flexibly. In particular, REFCMFS designs a new way to simplify and solve the $L_0$-norm constraint without any approximate transformation by absorbing $\|\cdot\|_0$ into the objective function through a ranking function. These improvements not only make REFCMFS efficiently obtain more promising performance but also provide a new tractable and skillful optimization method to solve the problem embedded the $L_0$-norm constraint. Theoretical analyses and extensive experiments on several public datasets demonstrate the effectiveness and rationality of our proposed REFCMFS method.

연구 동기 및 목표

• 기존 K-Means 및 FCM 클러스터링의 이상치 처리 능력 부족과 $L_0$-노름 제약으로 인한 계산 비효율성 문제를 해결하기 위해.
• 이상치에 강건하면서도 구성원 할당에서 탄력적인 희박성을 갖춘 클러스터링 모델을 개발하기 위해.
• $L_0$-노름 제약 클러스터링 문제를 해결하기 위한 실용적이고 근사치를 사용하지 않는 최적화 방법을 제공하기 위해.
• 낮은 계산 복잡도를 유지하면서도 클러스터링 성능과 수렴 속도를 향상시키기 위해.

제안 방법

• 데이터 기반 항목에서 이상치의 영향을 줄이기 위해 $L_{2,1}$-노름 강건한 손실 함수를 도입한다.
• 구성원 행렬에 직접적인 $L_0$-노름 제약을 적용하여 희박하고 탄력적인 클러스터 할당을 강제한다.
• $L_0$-노름을 근사치 없이 순위 함수를 통해 목적 함수에 통합하는 새로운 최적화 전략을 제안한다.
• 수렴성과 최적성 보장이 입증된 반복 알고리즘을 사용하여 유도된 최적화 문제를 해결한다.
• 희박성을 유지하기 위해 구성원 행렬 갱신을 위한 소프트 임계값 처리 유사 업데이트 규칙을 활용한다.
• $L_{2,1}$-손실과 $L_0$-희박성의 균형을 통해 딱딱한 파artitioning과 부드러운 파artitioning의 장점을 통합한다.

실험 결과

연구 질문

• RQ1 클러스터링 문제에서 $L_0$-노름 제약를 직접적으로 근사치 없이 처리하는 방법이 강건성과 효율성을 향상시킬 수 있는가?
• RQ2 $L_{2,1}$-노름 손실과 $L_0$-노름 희박성을 결합하면 노이즈가 많거나 이상치가 많은 데이터셋에서 더 나은 클러스터링 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 기존의 강건한 FCM 변종 대비 더 빠른 수렴 속도와 낮은 계산 복잡도를 달성할 수 있는가?
• RQ4 $L_0$-노름에 의해 유도되는 탄력적인 희박성은 고정된 희박성 또는 이진 파artitioning에 비해 클러스터링 품질에서 더 우수한가?

주요 결과

• REFCMFS는 ORL, Yale, COIL20, USPS, YaleB, COIL100 데이터셋에서 K-Means++ 대비 평균 7.32%, 9.5%, 5.985%, 0.53%, 4.565% 향상된 성능을 기록했다.
• 동일한 데이터셋에서 REFCMFS는 K-Medoids 대비 16.89%, 10.475%, 21.03%, 4.36%, 18.14% 향상되어 더 뛰어난 강건성을 입증했다.
• REFCMFS는 ORL, Yale, COIL20, USPS, YaleB, COIL100 데이터셋에서 LSC 대비 평균 5.065%, 5.68%, 6.96%, 8%, 0.815%, 3.605% 향상된 성능을 기록했다.
• 동일한 데이터셋에서 REFCMFS는 RSFKM 대비 4.565%, 8.42%, 2.615%, 3.875%, 0.735%, 1.365% 향상된 성능을 기록하여 더 나은 희박성 제어와 성능을 입증했다.
• 간소화된 버전인 sim-REFCMFS는 두 번째로 높은 성능을 기록하여 $L_0$-노름 희박성과 $L_{2,1}$-노름 손실 설계의 유용성을 확인했다.
• 수렴 곡선과 복잡도 분석을 통해 REFCMFS는 모든 데이터셋에서 GMM, SC, RSFKM 대비 더 빠르게 수렴하고 낮은 시간 복잡도를 가짐을 확인했다.