[論文レビュー] Pointwise convergence of the Lloyd algorithm in higher dimension

Gilles Pagès, Jun Yu|arXiv (Cornell University)|Dec 31, 2013

Advanced Data Compression Techniques参考文献 1被引用数 5

ひとこと要約

本稿は、初期グリッドの2次的量子化誤差がレベル$N-1$における最小誤差未満であるという分割条件の下で、高次元におけるLloydアルゴリズム（k-means）の点별収束を確立する。分布のサポートが有界でない場合でも、収束が保証される。この手法により、入力分布の連続性を仮定しなくても、極限グリッドが完全にサイズ$N$を維持することが保証される。

ABSTRACT

We establish the pointwise convergence of the iterative Lloyd algorithm, also known as $k$-means algorithm, when the quadratic quantization error of the starting grid (with size $N\ge 2$) is lower than the minimal quantization error with respect to the input distribution is lower at level $N-1$. Such a protocol is known as the splitting method and allows for convergence even when the input distribution has an unbounded support. We also show under very light assumption that the resulting limiting grid still has full size $N$. These results are obtained without continuity assumption on the input distribution. A variant of the procedure taking advantage of the asymptotic of the optimal quantizer radius is proposed which always guarantees the boundedness of the iterated grids.

研究の動機と目的

• 入力分布のサポートが無限大である場合の、高次元におけるLloydアルゴリズムの収束問題に取り組む。
• 分割条件を導入することで、反復処理におけるグリッドの爆発やコンポonentの凍結という問題を克服する。
• 入力分布に対する最小限の仮定のもとで、極限量子化グリッドが常にサイズ$N$を維持することを保証する。
• 連続性の仮定なしに収束を保証する、堅牢なアルゴリズムフレームワークを提供する。

提案手法

• 分割法の導入：初期グリッドの量子化誤差がレベル$N-1$における最小誤差未満であることを要件とする。
• Lloyd写像$T^{ u}_N$を用いて、各グリッド点をそのボロノイ領域の重心として反復的に更新する。
• 分割条件のもとで、非連続分布に対しても点別収束が成立することを証明する。
• 弱い仮定のもとで、極限グリッドが常にサイズ$N$を維持することを確立する。
• 反復点を球$B(0,R)$の内部に制限する修正アルゴリズムを提案し、最適量子化器理論からの半径推定を用いる。
• 境界外の重心は、$B(0,R)$の境界上の点に置き換えることで、発散を防ぎつつエネルギー減少を維持する。

実験結果

リサーチクエスチョン

• RQ1 サポートが無限大である分布に対して、高次元におけるLloydアルゴリズムが点別収束する条件は何か？
• RQ2 入力分布の連続性の仮定なしに、極限グリッドのサイズ$N$を保証できるか？
• RQ3 Lloyd反復中にグリッドの爆発やコンポonentの凍結をどのように防止できるか？
• RQ4 分割条件が収束性および最終グリッドの非退化性を保証する役割は何か？
• RQ5 収束性とエネルギー減少を保証する、有界なLloydアルゴリズムの変種を構築できるか？

主な発見

• 分割条件のもとで、Lloydアルゴリズムの点別収束が確立された：初期グリッド誤差 < レベル$N-1$における最小誤差。
• 非常に軽い仮定のもとで、極限グリッドがサイズ$N$を維持する。連続性の仮定がなくても成立する。
• 分割法により、サポートが無限大である分布に対しても収束が保証され、標準Lloydアルゴリズムの主要な制限を克服する。
• 球$B(0,R)$に反復点を制限する修正アルゴリズムにより、有界性とエネルギー減少が保証されるが、エネルギー水準は無限大の場合より高くなる。
• 理論的最適量子化器半径推定に基づいて、半径$R$を設定することで収束挙動を改善できる。
• 数値実験により、グリッドの爆発よりもコンポonentの凍結がより頻繁に発生するため、有界な変種の導入が正当化される。