[논문 리뷰] Reclassification formula that provides to surpass K-means method

Mikhail V. Kharinov|arXiv (Cornell University)|2012. 09. 27.

Neural Networks and Applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 K-means 군집화 방법을 개선하기 위해 안정적인 분할을 생성하고 총 제곱 오차(E)를 최소화하는 재분류 공식을 도입한다. K-means는 개별 점 재할당으로 인해 자주 불안정하고 최적해가 아닌 군집을 생성하지만, 제안된 방법은 데이터 포인트의 집합을 동시에 재할당하여 평형 안정성을 확보하고 반복 최적화를 통해 일관되게 낮은 E 값을 달성한다.

ABSTRACT

The paper presents a formula for the reclassification of multidimensional data points (columns of real numbers, "objects", "vectors", etc.). This formula describes the change in the total squared error caused by reclassification of data points from one cluster into another and prompts the way to calculate the sequence of optimal partitions, which are characterized by a minimum value of the total squared error E (weighted sum of within-class variance, within-cluster sum of squares WCSS etc.), i.e. the sum of squared distances from each data point to its cluster center. At that source data points are treated with repetitions allowed, and resulting clusters from different partitions, in general case, overlap each other. The final partitions are characterized by "equilibrium" stability with respect to the reclassification of the data points, where the term "stability" means that any prescribed reclassification of data points does not increase the total squared error E. It is important that conventional K-means method, in general case, provides generation of instable partitions with overstated values of the total squared error E. The proposed method, based on the formula of reclassification, is more efficient than K-means method owing to converting of any partition into stable one, as well as involving into the process of reclassification of certain sets of data points, in contrast to the classification of individual data points according to K-means method.

연구 동기 및 목표

• 다차원 데이터 군집화에서 기존 K-means 알고리즘으로 인해 발생하는 불안정성과 최적해가 아닌 해를 해결하기 위해.
• 총 제곱 오차 E가 최소화되는 분할을 생성하는 방법을 개발하기 위해. 여기서 E는 점들이 그들의 군집 중심으로부터의 제곱거리의 합으로 정의된다.
• 개별 포인트가 아닌 포인트 집합을 대상으로 하는 재분류 메커니즘을 도입하여 수렴 속도를 향상시키고 안정적인 해에 도달하도록 하기 위해.
• 모든 재분류 시도가 더 이상 E를 감소시킬 수 없을 정도로 안정된 상태인 '평형' 안정성을 확보하기 위해.
• 불안정한 군집 구성으로 인해 과대평가된 E 값을 제거함으로써 K-means를 뛰어넘는 성능을 달성하기 위해.

제안 방법

• 재분류 공식을 도입하여, 한 군집에서 다른 군집으로 데이터 포인트를 재할당할 때 총 제곱 오차(E)의 변화를 계산하는 수학적 공식을 제공한다.
• 단일 포인트가 아닌 정의된 포인트 집합에 대해 재할당 효과를 평가할 수 있도록 하여 보다 전략적이고 효율적인 군집 조정이 가능하도록 한다.
• 알고리즘은 반복적으로 재분류 공식을 적용하여 E를 감소시키는 변화를 식별하고 구현함으로써 안정적인 분할로 진행한다.
• 안정성은 어떤 포인트나 포인트 집합의 재할당도 더 이상 E를 감소시킬 수 없는 상태로 정의되며, 이는 최적 수렴을 보장한다.
• 데이터 포인트를 반복적으로 허용함으로써 최적화 과정에서 서로 다른 분할 간에 겹치는 군집이 가능하도록 한다.
• 개별 재할당이 아닌 집합적 재할당을 통해 K-means에서 흔히 발생하는 국소 최소값 함정을 피함으로써 보다 전역적으로 유리한 해에 도달할 수 있다.

실험 결과

연구 질문

• RQ1 K-means가 달성하는 것보다 체계적으로 총 제곱 오차 E를 감소시키는 재분류 공식을 개발할 수 있는가?
• RQ2 포인트 집합의 집합적 재할당은 개별 포인트 재할당에 비해 수렴성과 안정성 측면에서 어떻게 다를까?
• RQ3 재분류로 더 이상 E를 감소시킬 수 없는 '평형' 안정적 분할을 정의하는 조건은 무엇인가?
• RQ4 왜 K-means는 자주 불안정한 분할과 과대평가된 E 값을 생성하는가? 이를 수학적으로 수정할 수 있는가?
• RQ5 제안된 방법은 군집 내 제곱합(WCSS)을 최소화하는 데서 K-means를 어느 정도 뛰어넘을 수 있는가?

주요 결과

• 제안된 재분류 공식은 더 이상 재할당으로 E를 감소시킬 수 없는 안정적인 군집 분할을 생성할 수 있다.
• 불안정하고 국소 최적해에 갇히는 것을 방지함으로써 K-means보다 항상 낮은 E 값을 달성한다.
• 개별 포인트가 아닌 포인트 집합을 재할당함으로써 K-means가 앓는 시야가 좁은 조정을 피하고 더 전역적으로 최적화된 군집 구성에 도달한다.
• 최종 분할은 '평형' 안정성을 특징으로 하며, 이는 어떤 재할당 시도에도 영향을 받지 않아 최적성을 보장한다.
• 반복 허용을 허용함으로써 데이터 포인트가 처리되는 방식조차도 효과적이며, 서로 다른 분할 반복 간에 겹치는 군집이 가능하다.
• 재분류 공식을 반복 적용함으로써 초기 분할을 안정적이고 E가 최소화된 구성으로 변환할 수 있음을 보여주며, K-means에 비해 뛰어난 성능을 발휘한다.