[논문 리뷰] Unexpected Effects of Online no-Substitution k-means Clustering

Michal Moshkovitz|arXiv (Cornell University)|2019. 08. 09.

Advanced Clustering Algorithms Research참고 문헌 19인용 수 5

한 줄 요약

이 논문은 점을 중심으로 선택하는 결정이 비가역적이며 순차적으로 내려져야 하는 온라인 무대체 k-means 군집화를 조사한다. 상수 k와 무작위 점 순서에 대해, 상수 근사치를 달성하기 위해 Θ(log n) 개의 중심이 충분함을 보여주는 날카운 점 渐진 경계를 확립한다. 반면, n를 사전에 알고 있다면 이 수치는 상수로 줄어들며, 이는 순서와 n의 사전 지식이 성능에 놀랍도록 깊이 있는 영향을 미친다는 것을 드러낸다.

ABSTRACT

Offline k-means clustering was studied extensively, and algorithms with a constant approximation are available. However, online clustering is still uncharted. New factors come into play: the ordering of the dataset and whether the number of points, n, is known in advance or not. Their exact effects are unknown. In this paper we focus on the online setting where the decisions are irreversible: after a point arrives, the algorithm needs to decide whether to take the point as a center or not, and this decision is final. How many centers are needed and sufficient to achieve constant approximation in this setting? We show upper and lower bounds for all the different cases. These bounds are exactly the same up to a constant, thus achieving optimal bounds. For example, for k-means cost with constant k>1 and random order, Theta(log n) centers are enough to achieve a constant approximation, while the mere a priori knowledge of n reduces the number of centers to a constant. These bounds hold for any distance function that obeys a triangle-type inequality.

연구 동기 및 목표

• 온라인 무대체 k-means 군집화에서 점의 순서와 데이터셋 크기 n의 사전 지식이 미치는 영향을 이해하는 것.
• 온라인 환경에서 상수 근사치를 달성하기 위해 필요한 중심의 최소 수를 결정하는 것.
• 무작위 순서 대비 최악의 순서, 알려진 n 대비 알려지지 않은 n 등의 다양한 조건에서 중심 수에 대한 날카운 상한 및 하한을 설정하는 것.
• 차원 수가 중요하지 않지만, 순서와 n의 지식이 성능에 상당한 영향을 미친다는 것을 보여주는 것.
• 알고리즘 효율성에 영향을 미치는 주요 요인을 규명하는 온라인 군집화 환경에 대한 종합적 분석을 제공하는 것.

제안 방법

• 점이 거절된 후에는 이후에 다시 선택될 수 없기 때문에, 결정이 비가역적인 온라인 k-means 군집화를 분석한다.
• ℓ₂ 거리 이외의 일반화를 위해 삼각 부등식 유형의 부등식을 사용하여 결과의 광범위한 적용 가능성을 확보한다.
• 마르코프 부등식과 유니온 바운드를 포함한 확률론적 및 농도 분석 기법을 사용하여 고확률 보장을 도출한다.
• 선택된 두 중심 사이의 거리가 선택 시점의 점과 그 점의 가장 가까운 중심까지의 거리보다 작지 않다는 핵심 구조 레이마를 적용한다.
• 기존의 비용 함수로의 감소를 통해 상한 및 하한을 유도하고 기하학적 부등식을 사용하여 군집 비용을 근사한다.
• 무작위 순서와 최악의 순서를 모두 고려하며, n이 사전에 알려져 있는지 여부에 따라 설정을 구분한다.

실험 결과

연구 질문

• RQ1 입력 점의 순서(무작위 대비 최악의 순서)는 온라인 무대체 k-means에서 상수 근사치를 달성하기 위해 필요한 중심 수에 어떤 영향을 미치는가?
• RQ2 데이터셋 크기 n의 사전 지식은 상수 근사치를 달성하기 위해 필요한 중심 수에 어떤 영향을 미치는가?
• RQ3 다양한 조합의 순서와 n의 지식에 대해 중심 수에 대한 날카운 점 渐진 경계를 설정할 수 있는가?
• RQ4 데이터 공간의 차원 수가 온라인 환경에서 필요한 중심 수에 영향을 미치는가?
• RQ5 비용 함수가 ℓ₂ 노름이 아니라 삼각 부등식 유형의 부등식을 만족할 경우 경계는 어떻게 변화하는가?

주요 결과

• 상수 k > 1 이고 점의 순서가 무작위일 경우, 온라인 무대체 k-means에서 상수 근사치를 달성하기 위해 Θ(log n) 개의 중심이 필수적이며 동시에 충분하다.
• 전체 점 수 n이 사전에 알려져 있다면, k > 1 여부에 관계없이 필요한 중심 수는 상수 수준으로 감소한다.
• 최악의 순서일 경우, n를 알고 있더라도 여전히 Θ(log n) 개의 중심이 필요함을 보여주며, 이는 악성 순서가 성능을 심각하게 제한한다는 것을 시사한다.
• 데이터 공간의 차원 d는 필요한 중심 수에 점점 더 큰 영향을 미치지 않으며, 이는 다양한 차원에 걸쳐 일반화됨을 나타낸다.
• 경계는 상수 요소까지 날카로우므로, 주어진 제약 조건 하에서 알고리즘적 트레이드오프가 최적임을 의미한다.
• 결과는 ℓ₂ 노름 외에도 삼각 부등식 유형의 거리 함수를 만족하는 모든 거리 함수에 대해 성립하므로, 표준 k-means를 초월한 광범위한 적용 가능성을 보여준다.