[논문 리뷰] Online k-means Clustering

Vincent Cohen-Addad, Benjamin Guedj외 2명|arXiv (Cornell University)|2019. 09. 15.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 9

한 줄 요약

이 논문은 유한한 데이터 하에서 기대값으로 $\tilde{O}(\sqrt{T})$의 손실을 달성하는 적응형 다중 가중치 업데이트 알고리즘(MWUA)을 사용한 온라인 $k$-클러스터링 알고리즘을 제안한다. $k$-클러스터링 문제의 $\mathsf{APX}$-완전성에도 불구하고, 이 방법은 런타임이 $k$와 $d$에 대해 지수적임에도 불구하고 근사 손실 최소화에 대한 이론적 상한을 제공한다. 또한, 표준적 접근 방식인 Follow The Leader(FTL)가 악성 경우에 선형 손실을 겪을 수 있음을 보여준다.

ABSTRACT

We study the problem of online clustering where a clustering algorithm has to assign a new point that arrives to one of $k$ clusters. The specific formulation we use is the $k$-means objective: At each time step the algorithm has to maintain a set of k candidate centers and the loss incurred is the squared distance between the new point and the closest center. The goal is to minimize regret with respect to the best solution to the $k$-means objective ($\mathcal{C}$) in hindsight. We show that provided the data lies in a bounded region, an implementation of the Multiplicative Weights Update Algorithm (MWUA) using a discretized grid achieves a regret bound of $ ilde{O}(\sqrt{T})$ in expectation. We also present an online-to-offline reduction that shows that an efficient no-regret online algorithm (despite being allowed to choose a different set of candidate centres at each round) implies an offline efficient algorithm for the $k$-means problem. In light of this hardness, we consider the slightly weaker requirement of comparing regret with respect to $(1 + ε) \mathcal{C}$ and present a no-regret algorithm with runtime $O\left(T(\mathrm{poly}(log(T),k,d,1/ε)^{k(d+O(1))} ight)$. Our algorithm is based on maintaining an incremental coreset and an adaptive variant of the MWUA. We show that naïve online algorithms, such as \emph{Follow The Leader}, fail to produce sublinear regret in the worst case. We also report preliminary experiments with synthetic and real-world data.

연구 동기 및 목표

• 오프라인 $k$-클러스터링 문제의 $\mathsf{APX}$-완전성에도 불구하고, 하한선을 초과하는 손실을 갖는 효율적인 온라인 $k$-클러스터링 알고리즘을 설계하는 것.
• 유한한 데이터 $[0,1]^d$에서 온라인 $k$-클러스터링 설정에서 손실에 대한 이론적 상한을 설정하는 것.
• 온라인-오프라인 감소를 통해, 무작위 손실이 없는 온라인 알고리즘이 효율적인 오프라인 알고리즘을 암시하는지 조사하는 것.
• 계산의 비효율성 문제를 해결하기 위해 $(1+\epsilon)$-손실과 관리 가능한 런타임을 갖는 실용적인 알고리즘을 개발하는 것.
• 표준 온라인 히وري스틱인 Follow The Leader(FTL)가 악성 경우에 실패하는 이유를 분석하고, 실증 성능을 평가하는 것.

제안 방법

• $[0,1]^d$ 위에 이산화된 격자를 사용하여 후보 중심을 표현하고, $k$개 중심의 집합에 대해 다중 가중치 업데이트 알고리즘(MWUA)을 적용한다.
• 과거 데이터의 압축된 요약을 유지하기 위해 점진적 코어셋 구축 기법을 사용하여 계산 오버헤드를 감소시킨다.
• 계층적 영역 분할과 $k$-트리 구조를 도입하여 $k$-센터 구성과 최적 경로의 근사치를 모델링한다.
• 손실과 근사 오차를 제어하기 위해 철저히 조정된 파rameter $\varepsilon_{\mathsf{c}}$와 $\varepsilon_{\mathsf{hrd}}$를 갖는 MWUA의 적응형 변형을 적용한다.
• 최적의 오프라인 솔루션을 후회하는 경로에 해당하는 $k$-트리 경로 분석을 통해 손실 상한을 유도한다.
• 온라인-오프라인 감소를 사용하여, 어떤 효율적인 온라인 알고리즘도 오프라인 $k$-클러스터링에 대해 완전 다항시간 근사계열(FPTAS)을 암시함을 보여준다.

실험 결과

연구 질문

• RQ1 적응형 $\mathsf{APX}$-완전성 하에서, 하한선을 초과하는 손실을 갖는 무손실 온라인 $k$-클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 효율적인 온라인 알고리즘이 감소를 통해 효율적인 오프라인 알고리즘을 암시하는가?
• RQ3 유연한 $(1+\epsilon)$-손실 정의 하에서 손실이 $\tilde{O}(\sqrt{T})$로 제한될 수 있는가?
• RQ4 왜 FTL은 좋은 실증 성능에도 불구하고 악성 경우에 하한선을 초과하는 손실을 기록하는가?
• RQ5 온라인 $k$-클러스터링에서 $\tilde{O}(\sqrt{T})$ 손실을 달성하기 위한 최소 런타임 복잡도는 무엇인가?

주요 결과

• 이산화된 격자 위에서 MWUA 기반 알고리즘이 $\tilde{O}(\sqrt{T})$ 기대 손실을 달성함으로써, 하한선을 초과하는 손실의 정보 이론적 가능성을 입증한다.
• 온라인-오프라인 감소를 통해, 어떤 효율적인 온라인 알고리즘도 오프라인 $k$-클러스터링에 대해 FPTAS를 암시함을 보여주며, 계산의 어려움이 주요 장벽임을 강조한다.
• 새로운 알고리즘은 $(1+\epsilon)$-손실을 달성하며, 시간 복잡도 $O\left(T(d^{1/2}k^{2}\epsilon^{-2}\log T)^{k(d+O(1))}\right)$ 내에서 $\tilde{O}(\sqrt{T})$ 손실을 달성한다. 이는 $k$와 $d$에 대해 지수적 의존성을 갖는다.
• 단순한 온라인 알고리즘인 FTL은 이론적으로나 실증적으로나 악성 경우에 선형 손실을 겪을 수 있다.
• 이론적으로 실패하더라도, FTL은 $k$-means++를 대체로 사용할 경우 실제 및 합성 데이터에서 잘 작동함을 보여주며, 안정성 조건이 더 나은 손실 상한을 가능하게 할 수 있음을 시사한다.
• 이론적 분석을 통해, 효율적인 온라인 $k$-클러스터링의 주요 장애물은 정보가 아니라 계산임을 확인하였으며, 하한선을 초과하는 손실은 원칙적으로 달성 가능하다.