[논문 리뷰] An Information-Theoretic Analysis of Hard and Soft Assignment Methods for Clustering

Michael Kearns, Yishay Mansour외 1명|arXiv (Cornell University)|2013. 02. 06.

Advanced Clustering Algorithms Research인용 수 13

한 줄 요약

이 논문은 하드 할당과 소프트 할당 클러스터링 방법에 대한 정보이론적 분석을 제시하며, K-means가 엔트로피를 통해 클러스터 유사도와 클러스터 균형을 암묵적으로 균형 잡는 반면, EM은 가능도를 우선시함을 보여준다. 주요 기여는 K-means가 EM보다 덜 겹치는 클러스터 밀도를 선호하는 것을 드러내는 왜곡 분해이며, 소프트 할당과 유사해 보이지만 새로운 사후 할당 방법이 특별한 행동을 보임을 입증한다.

ABSTRACT

Assignment methods are at the heart of many algorithms for unsupervised learning and clustering - in particular, the well-known K-means and Expectation-Maximization (EM) algorithms. In this work, we study several different methods of assignment, including the "hard" assignments used by K-means and the ?soft' assignments used by EM. While it is known that K-means minimizes the distortion on the data and EM maximizes the likelihood, little is known about the systematic differences of behavior between the two algorithms. Here we shed light on these differences via an information-theoretic analysis. The cornerstone of our results is a simple decomposition of the expected distortion, showing that K-means (and its extension for inferring general parametric densities from unlabeled sample data) must implicitly manage a trade-off between how similar the data assigned to each cluster are, and how the data are balanced among the clusters. How well the data are balanced is measured by the entropy of the partition defined by the hard assignments. In addition to letting us predict and verify systematic differences between K-means and EM on specific examples, the decomposition allows us to give a rather general argument showing that K ?means will consistently find densities with less "overlap" than EM. We also study a third natural assignment method that we call posterior assignment, that is close in spirit to the soft assignments of EM, but leads to a surprisingly different algorithm.

연구 동기 및 목표

• 최적화 목표를 넘어서 하드 할당(K-means)과 소프트 할당(EM) 클러스터링 방법 간의 체계적 차이를 이해하기 위해.
• 하드 할당의 엔트로피로 측정되는 클러스터 균형이 클러스터링 알고리즘의 왜곡에 어떤 영향을 미치는지 분석하기 위해.
• K-means에서 내재된 내부 클러스터 유사도와 클러스터 균형 간의 상충 관계를 수식화하고, 이를 비모수 밀도 추정으로 일반화하기 위해.
• EM과 유사한 정신을 공유하지만 행동이 상당히 다름을 보이는 새로운 사후 할당 방법을 제안하고 분석하기 위해.
• K-means가 왜 EM보다 덜 겹치는 클러스터 구조를 찾는 경향이 있는지에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 기대 왜곡을 두 성분으로 분해: 내부 클러스터 유사도와 하드 할당의 엔트로피로 측정된 클러스터 균형.
• 정보이론적 도구를 사용하여 K-means가 클러스터 내 왜곡 최소화와 할당 분할의 엔트로피 최대화 사이의 암묵적 상충 관계를 최적화함을 보여줌.
• 왜곡 분해를 적용하여 K-means와 비모수 밀도 추정을 위한 확장된 버전을 분석함.
• 사후 할당을 도입함 — 사후 확률을 사용하지만 최적화 목적이 다름으로 인해 EM과는 본질적으로 다른 알고리즘을 도출함.
• 구체적인 예시를 통해 K-means, EM, 사후 할당의 행동을 비교하여 이론적 예측을 검증함.
• 이론적 분석을 통해 K-means가 동일한 데이터 및 초기화 조건 하에서 항상 EM보다 덜 겹치는 클러스터 밀도를 찾는다는 것을 입증함.

실험 결과

연구 질문

• RQ1 왜곡 최소화나 가능도 최대화를 넘어서 하드 할당과 소프트 할당 방법 간의 암묵적 최적화 목표는 어떻게 다를까?
• RQ2 할당의 엔트로피로 측정되는 클러스터 균형은 K-means 및 유사 알고리즘의 성능에 어떤 역할을 하는가?
• RQ3 K-means는 왜 EM과 비교해 덜 겹치는 클러스터 구조를 만들어내는가, 비록 둘 다 클러스터링에 사용되더라도?
• RQ4 EM과 유사한 확률적 기반을 공유하고도, 제안된 사후 할당 방법은 행동과 결과 측면에서 어떻게 다를까?
• RQ5 통합된 정보이론적 프레임워크는 K-means와 EM 클러스터링 간의 체계적 차이를 설명할 수 있는가?

주요 결과

• K-means의 왜곡은 내부 클러스터 유사도를 측정하는 항과 하드 할당의 엔트로피로 측정되는 클러스터 균형을 측정하는 항으로 분해 가능하며, 이는 암묵적인 상충 관계를 드러냄.
• K-means는 더 균형 잡힌(엔트로피가 높은) 할당과 덜 겹치는 클러스터를 암묵적으로 선호하여 더 흐린, 더 잘 분리된 클러스터 구조를 만들어냄.
• EM의 소프트 할당과 정신적으로 유사해 보이지만, 제안된 사후 할당 방법은 최적화 목적이 다름으로 인해 본질적으로 다른 알고리즘을 이끌어내며, 수렴 및 클러스터링 행동이 뚜렷이 다름.
• 이론적 분석을 통해 동일한 데이터 및 초기화 조건 하에서 K-means가 항상 EM보다 덜 겹치는 클러스터 밀도를 찾는다는 것이 확인됨.
• 경험적 예시를 통해 왜곡 분해가 K-means와 EM 간의 클러스터링 결과에서 관측 가능한 차이를 정확히 예측함을 검증함.
• 분석을 통해 K-means가 동일한 데이터에 적용될 경우 항상 EM보다 덜 겹치는 클러스터 구조를 찾는 경향이 있음을 일반화된 논거로 제시함.