[論文レビュー] Statistical and Computational Guarantees of Lloyd's Algorithm and its Variants

Y. Lu, Harrison H. Zhou|arXiv (Cornell University)|Dec 7, 2016

Statistical Mechanics and Entropy参考文献 13被引用数 59

ひとこと要約

本稿は、部分ガウス混合モデルにおけるLloydのアルゴリズムについて、初めての統計的・計算的保証を提供し、弱い初期化のもとで $O(\log n)$ 回の反復で最小最大最適クラスタリング誤差を達成することを示している。本稿は、コミュニティ検出およびクラウドソーシングへの分析を拡張し、先行研究よりも強い信号対雑音比条件を満たす線形収束を証明している。

ABSTRACT

Clustering is a fundamental problem in statistics and machine learning. Lloyd's algorithm, proposed in 1957, is still possibly the most widely used clustering algorithm in practice due to its simplicity and empirical performance. However, there has been little theoretical investigation on the statistical and computational guarantees of Lloyd's algorithm. This paper is an attempt to bridge this gap between practice and theory. We investigate the performance of Lloyd's algorithm on clustering sub-Gaussian mixtures. Under an appropriate initialization for labels or centers, we show that Lloyd's algorithm converges to an exponentially small clustering error after an order of $\log n$ iterations, where $n$ is the sample size. The error rate is shown to be minimax optimal. For the two-mixture case, we only require the initializer to be slightly better than random guess. In addition, we extend the Lloyd's algorithm and its analysis to community detection and crowdsourcing, two problems that have received a lot of attention recently in statistics and machine learning. Two variants of Lloyd's algorithm are proposed respectively for community detection and crowdsourcing. On the theoretical side, we provide statistical and computational guarantees of the two algorithms, and the results improve upon some previous signal-to-noise ratio conditions in literature for both problems. Experimental results on simulated and real data sets demonstrate competitive performance of our algorithms to the state-of-the-art methods.

研究の動機と目的

• Lloydのアルゴリズムの実験的成功と理論的理解の間のギャップを埋めること。
• 部分ガウス混合モデル下でのLloydのアルゴリズムの統計的・計算的収束保証を確立すること。
• Lloydのアルゴリズムの新たな変種を用いて、コミュニティ検出およびクラウドソーシングへの分析を拡張すること。
• 先行研究よりも弱い信号対雑音比条件と最小最大最適クラスタリング誤差率を導出すること。
• 1ステップ更新の限界を克服するため、2段階推定器の限界を解消する多段階収束の分析を行うこと。

提案手法

• 対称な中心 $\theta^*$ と $-\theta^*$ を持つ2成分球面ガウス混合モデルにおけるLloydのアルゴリズムを分析する。
• ラベルまたは中心推定のための弱い初期化条件（ランダムよりわずかに優れている）を用い、収束を保証する。
• 集中不等式と部分ガウス尾部バウンドを用いて、反復更新における逸脱を制御する。
• チェルノフとホイーディング不等式を用いて、ラベル割り当て誤差および重みベクトルのノルム逸脱を分析する。
• コミュニティ検出とクラウドソーシングのための2つのアルゴリズム変種を導入し、両者に理論的保証を付与する。
• 適切な分離条件の下で反復的精錬により、線形収束を確立し、最小最大最適誤差率に到達する。

実験結果

リサーチクエスチョン

• RQ1 Lloydのアルゴリズムが最小最大最適解に収束するためには、初期化がどれほど弱くてもよいか？
• RQ2 部分ガウス混合モデルにおけるLloydのアルゴリズムの収束速度は、標本サイズ $n$ の観点からどの程度か？
• RQ3 Lloydのアルゴリズムの分析を、コミュニティ検出やクラウドソーシングのような非クラスタリング問題へ拡張可能か？
• RQ4 2成分ガウス混合モデルにおける正確回復（強い一貫性）を達成するための信号対雑音比条件は何か？
• RQ5 2段階推定器における1ステップ更新と比較して、Lloydのアルゴリズムの多段階反復は誤差率をどのように改善するか？

主な発見

• 弱い初期化のもとで、Lloydのアルゴリズムは $O(\log n)$ 回の反復後に指数的に小さいクラスタリング誤差を達成する。
• クラスタリング誤差率は最小最大最適であり、部分ガウス混合モデルの理論的下界と一致する。
• 2成分ガウス混合モデルでは、信号対雑音比が $4\log n$ を超えると、高確率で正確回復が達成される。これは先行研究よりも弱い条件である。
• アルゴリズムは最小最適誤差率に線形収束する。1ステップ更新手法よりも、2段階推定器における性能が向上する。
• コミュニティ検出およびクラウドソーシングのための提案された変種は、既存手法よりも良い信号対雑音比条件を達成する。
• シミュレートデータおよび実データにおける実験結果は、最先端手法と同等以上の性能を示している。