[논문 리뷰] Balanced k-Means and Min-Cut Clustering

Xiaojun Chang, Feiping Nie외 2명|arXiv (Cornell University)|2014. 11. 23.

Face and Expression Recognition참고 문헌 27인용 수 17

한 줄 요약

이 논문은 균형 잡힌 클러스터 크기를 보장하기 위해 배타적 라소 정규화를 사용하는 균형 잡힌 k-평균 및 균형 잡힌 최소 컷 클러스터링 알고리즘을 제안한다. 배타적 라소 페널티를 최소화함으로써, 기존의 최첨단 기법들에 비해 벤치마크 데이터셋에서 더 높은 클러스터링 정확도와 정규화된 상호정보량(NMI)을 달성한다.

ABSTRACT

Clustering is an effective technique in data mining to generate groups that are the matter of interest. Among various clustering approaches, the family of k-means algorithms and min-cut algorithms gain most popularity due to their simplicity and efficacy. The classical k-means algorithm partitions a number of data points into several subsets by iteratively updating the clustering centers and the associated data points. By contrast, a weighted undirected graph is constructed in min-cut algorithms which partition the vertices of the graph into two sets. However, existing clustering algorithms tend to cluster minority of data points into a subset, which shall be avoided when the target dataset is balanced. To achieve more accurate clustering for balanced dataset, we propose to leverage exclusive lasso on k-means and min-cut to regulate the balance degree of the clustering results. By optimizing our objective functions that build atop the exclusive lasso, we can make the clustering result as much balanced as possible. Extensive experiments on several large-scale datasets validate the advantage of the proposed algorithms compared to the state-of-the-art clustering algorithms.

연구 동기 및 목표

• 데이터가 균일하게 분포되어 있을 때 기존의 k-평균 및 최소 컷 클러스터링이 균형 잡히지 않은 클러스터 할당을 초래하는 한계를 해결하기 위해.
• 특히 클러스터 크기가 약간씩 동일해야 하는 데이터셋에서 클러스터 크기의 균형을 명시적으로 클러스터링 결과에 반영하기 위해.
• k-평균 및 최소 컷 프레임워크에 배타적 라소 정규화를 통합하여 클러스터 간 데이터 포인트 확보 경쟁을 유도하기 위해.
• 배타적 라소 정규화로 인해 발생하는 비미분 가능한 목적 함수를 해결하기 위한 반복 최적화 방법을 개발하기 위해.
• 제안된 균형 잡힌 클러스터링 알고리즘이 기존의 최첨단 방법들에 비해 우월함을 경험적으로 검증하기 위해.

제안 방법

• 균형 잡힌 클러스터 할당을 유도하기 위해 배타적 라소 페널티를 k-평균 목적 함수에 통합한다.
• 최소 컷 클러스터링의 경우, 클러스터 할당 벡터에 배타적 라소를 적용하여 그래프의 정점에 대한 균형 잡힌 분할을 촉진한다.
• 배타적 라소를 포함한 목적 함수의 비미분 성질을 다루기 위해 새로운 반복 최적화 알고리즘을 제안한다.
• 최적화 과정은 클러스터 할당과 클러스터 중심(최소 컷의 경우 분할 벡터)을 번갈아 가며 갱신하며, 배타적 라소 항이 균형을 규제한다.
• 파rameter γ는 배타적 라소 페널티의 강도를 제어하며, 실험 결과 최적 성능가능성이 [10⁻², 10²] 범위 내에서 일관되게 관찰된다.
• 이 프레임워크는 k-평균 및 최소 컷 모두에 적용되어, 기존의 클러스터링 방법들이 더 균형 잡힌 결과를 도출할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 배타적 라소 정규화는 k-평균 클러스터링에서 균형 잡힌 클러스터 크기를 효과적으로 강제할 수 있는가?
• RQ2 배타적 라소는 최소 컷 클러스터링에 성공적으로 적용되어 더 균형 잡힌 분할을 도출할 수 있는가?
• RQ3 제안된 균형 잡힌 k-평균 및 최소 컷 알고리즘의 성능은 정확도와 NMI 측면에서 최첨단 기법들과 비교해 어떻게 되는가?
• RQ4 제안된 알고리즘은 정규화 파rameter γ에 대해 얼마나 민감한가?
• RQ5 분류 정보와 균형 제약 조건을 동시에 통합함으로써 균형 잡힌 데이터셋에서 클러스터링 성능이 향상되는가?

주요 결과

• 제안된 균형 잡힌 k-평균 알고리즘은 모든 테스트 데이터셋에서 기존의 k-평균, DisCluster, DisKmeans, AKM, HKM 및 기타 최첨단 기법들보다 클러스터링 정확도와 NMI 측면에서 일관되게 뛰어난 성능을 보였다.
• 균형 잡힌 최소 컷 클러스터링은 모든 9개의 벤치마크 데이터셋에서 최소 컷, MinMax 컷, 비율 컷, 정규화된 컷, 균형 잡힌 최소 컷을 포함한 모든 그래프 기반 클러스터링 방법들보다 높은 성능을 달성했다.
• 파rameter γ는 성능에 상당한 영향을 미치며, 균형 잡힌 k-평균 및 균형 잡힌 최소 컷 모두에서 최적 결과가 항상 [10⁻², 10²] 범위 내에서 관찰되었다.
• 배타적 라소는 클러스터 간 경쟁을 효과적으로 유도하여 더 균형 잡힌 클러스터 크기와 향상된 클러스터링 품질을 이끌어냈다.
• 광범위한 실험을 통해 제안된 알고리즘이 다양한 대규모 데이터셋에서 강인하고 일관되게 뛰어난 성능을 보이며, 균형 제약 조건의 효과성을 검증했다.
• 반복 최적화 방법은 비미분 목적 함수를 효과적으로 다루었으며, 고품질의 균형 잡힌 클러스터링에 수렴하는 데 성공했다.