[論文レビュー] Online k-means Clustering

Vincent Cohen-Addad, Benjamin Guedj+2 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Bandit Algorithms Research参考文献 13被引用数 9

ひとこと要約

本稿では、増分的コアセットを用いた適応的乗法的重み更新アルゴリズム（MWUA）を用いたオンライン $k$-meansクラスタリングアルゴリズムを提示し、有界なデータ下で期待的に $\tilde{O}(\sqrt{T})$ のレグレットを達成する。$k$-meansの $\mathsf{APX}$-hardness 尽管存在するが、計算時間は $k$ および $d$ に関して指数的であるが、近似レグレット最小化の理論的上限を提供する。一方、FOLLOW THE LEADER（FTL）のような標準的手法は、最悪ケースにおいて線形レグレットを被る可能性がある。

ABSTRACT

We study the problem of online clustering where a clustering algorithm has to assign a new point that arrives to one of $k$ clusters. The specific formulation we use is the $k$-means objective: At each time step the algorithm has to maintain a set of k candidate centers and the loss incurred is the squared distance between the new point and the closest center. The goal is to minimize regret with respect to the best solution to the $k$-means objective ($\mathcal{C}$) in hindsight. We show that provided the data lies in a bounded region, an implementation of the Multiplicative Weights Update Algorithm (MWUA) using a discretized grid achieves a regret bound of $ ilde{O}(\sqrt{T})$ in expectation. We also present an online-to-offline reduction that shows that an efficient no-regret online algorithm (despite being allowed to choose a different set of candidate centres at each round) implies an offline efficient algorithm for the $k$-means problem. In light of this hardness, we consider the slightly weaker requirement of comparing regret with respect to $(1 + ε) \mathcal{C}$ and present a no-regret algorithm with runtime $O\left(T(\mathrm{poly}(log(T),k,d,1/ε)^{k(d+O(1))} ight)$. Our algorithm is based on maintaining an incremental coreset and an adaptive variant of the MWUA. We show that naïve online algorithms, such as \emph{Follow The Leader}, fail to produce sublinear regret in the worst case. We also report preliminary experiments with synthetic and real-world data.

研究の動機と目的

• オフライン $k$-means問題の $\mathsf{APX}$-hardness を考慮しても、サブラインアーなレグレットを達成する効率的なオンライン $k$-meansクラスタリングアルゴリズムの設計を目的とする。
• 有界なデータ $[0,1]^d$ の下で、オンライン $k$-means設定におけるレグレットの理論的境界を確立すること。
• オンラインからオフラインへの還元を用いて、ノーレグレットのオンラインアルゴリズムが、オフラインアルゴリズムの効率的性質を示すかを調査すること。
• 計算の非効率性に対処し、$(1+\epsilon)$-レグレットと管理可能な実行時間を持つ実用的なアルゴリズムを開発すること。
• 標準的なオンラインヒューリスティクス（例：Follow The Leader（FTL））が最悪ケース設定でなぜ失敗するかを評価し、その実効的性能を検証すること。

提案手法

• $[0,1]^d$ 上の離散化グリッドを用いて候補となる中心点を表現し、$k$ 個の中心点の集合に対して乗法的重み更新アルゴリズム（MWUA）を適用する。
• 計算コストの低減を図るため、過去のデータのコンactな要約を維持する増分的コアセット構築法を採用する。
• $k$-center配置をモデル化し、最適パスを近似するため、階層的領域分割と $k$-ツリー構造を導入する。
• レグレットと近似誤差を制御するため、適切に調整されたパラメータ $\varepsilon_{\mathsf{c}}$ と $\varepsilon_{\mathsf{hrd}}$ を用いたMWUAの適応的変種を適用する。
• 最良のオフライン解を後から確認した際の $k$-ツリー経路の分析を通じて、レグレットの境界を導出する。
• オンラインからオフラインへの還元を用いて、任意の効率的オンラインアルゴリズムが、オフライン $k$-means における完全多項式時間近似スキーム（FPTAS）を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 $\mathsf{APX}$-hardness が存在する中で、サブラインアーなレグレットを達成するノーレグレットのオンライン $k$-meansアルゴリズムを設計できるか？
• RQ2 効率的なオンラインアルゴリズムが、還元によって効率的なオフラインアルゴリズムを示唆するか？
• RQ3 $(1+\epsilon)$-レグレットの緩和定義のもとで、レグレットを $\tilde{O}(\sqrt{T})$ に束縛できるか？
• RQ4 実効的性能が良好であるにもかかわらず、なぜ Follow The Leader（FTL）は最悪ケースでサブラインアーなレグレットを達成できないのか？
• RQ5 オンライン $k$-means において $\tilde{O}(\sqrt{T})$ レグレットを達成するための最小の実行時間複雑度は何か？

主な発見

• 離散化グリッド上のMWUAベースのアルゴリズムは、期待的に $\tilde{O}(\sqrt{T})$ のレグレットを達成し、サブラインアーなレグレットの情報理論的妥当性を確立する。
• オンラインからオフラインへの還元により、任意の効率的オンラインアルゴリズムが、オフライン $k$-means におけるFPTASを示すことが判明し、計算の難解さが主な障壁であることが強調された。
• $(1+\epsilon)$-レグレットを達成する新しいアルゴリズムは、時間 $O\left(T(d^{1/2}k^{2}\epsilon^{-2}\log T)^{k(d+O(1))}\right)$ で $\tilde{O}(\sqrt{T})$ のレグレットを達成するが、$k$ および $d$ に関して指数的依存性を示す。
• Naïveなオンラインアルゴリズム（例：Follow The Leader）は、最悪ケースで線形レグレットを被る可能性があることが、理論的および実験的に示された。
• 理論的失敗にもかかわらず、FTL は $k$-means++ を代理として用いることで、実世界および合成データにおいて良好に動作する。これは、安定性条件がより良いレグレット境界を可能にする可能性を示唆している。
• 理論的分析により、効率的なオンライン $k$-means の主な障壁は情報的ではなく計算的であることが確認された。なぜなら、サブラインアーなレグレットは原理的に達成可能だからである。