[論文レビュー] Convergence of distributed asynchronous learning vector quantization algorithms

Benoît Patra|arXiv (Cornell University)|Dec 23, 2010

Advanced Data Compression Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、分散型非同期学習ベクトル量子化（DALVQ）アルゴリズムを提案する。これは、競争的学習ベクトル量子化（CLVQ）と分散最適化を組み合わせた、スケーラブルで非同期な並列クラスタリング手法である。複数の分散型量子化器バージョンが、共通でほぼ最適な解へ almost sure 収束することを証明しており、大規模かつ分散型のデータ処理環境における一貫性と耐障害性を確保する。

ABSTRACT

Motivated by the problem of effectively executing clustering algorithms on very large data sets, we address a model for large scale distributed clustering methods. To this end, we briefly recall some standards on the quantization problem and some results on the almost sure convergence of the Competitive Learning Vector Quantization (CLVQ) procedure. A general model for linear distributed asynchronous algorithms well adapted to several parallel computing architectures is also discussed. Our approach brings together this scalable model and the CLVQ algorithm, and we call the resulting technique the Distributed Asynchronous Learning Vector Quantization algorithm (DALVQ). An in-depth analysis of the almost sure convergence of the DALVQ algorithm is performed. A striking result is that we prove that the multiple versions of the quantizers distributed among the processors in the parallel architecture asymptotically reach a consensus almost surely. Furthermore, we also show that these versions converge almost surely towards the same nearly optimal value for the quantization criterion.

研究の動機と目的

• 非常に大きなデータセットに対するクラスタリングアルゴリズムのスケーラビリティを、分散型および非同期コンピューティングアーキテクチャを用いて解決すること。
• 通信遅延や共有メモリの欠如にもかかわらず収束保証を維持するスケーラブルな並列フレームワークを構築すること。
• 競争的学習ベクトル量子化（CLVQ）アルゴリズムを、非同期分散最適化理論と統合し、ビッグデータ環境でのパフォーマンスを向上させること。
• 複数の分散型量子化器バージョンが、漸近的に一貫性を保ち、ほぼ最適な解へ収束することを証明すること。

提案手法

• DALVQアルゴリズムは、CLVQ手順をM個のプロセッサに分散処理し、各プロセッサが自らのローカルな量子化器重みを維持する。
• 各プロセッサは、ローカルデータを用いた確率的勾配降下法でローカル量子化器を更新し、リモート更新を非同期的に通信する。
• アルゴリズムは、凸結合重み a^{i,j}(t) を用いてローカルおよびリモートの量子化器状態を融合し、安定性と収束性を確保する。
• 通信遅延は時系列シフトされた更新 τ^{i,j}(t) を用いてモデル化され、同期障害なしに非同期動作を可能にする。
• 理論的分析は、TsitsiklisとBertsekasの非同期線形アルゴリズムフレームワークを、CLVQ設定に適応して構築する。
• 収束は、ステップサイズおよび勾配の有界性、リプシッツ連続性、summability 条件を活用した almost sure 収束定理を用いて証明される。

実験結果

リサーチクエスチョン

• RQ1 CLVQアルゴリズムは、収束保証を失うことなく、分散型非同期環境で効果的に並列化可能か？
• RQ2 通信遅延や非同期性が存在する中でも、複数の分散型量子化器バージョンは共通の解へ収束するか？
• RQ3 非同期更新下でも、分散アルゴリズムは量子化基準においてほぼ最適な状態を維持できるか？
• RQ4 遅延と確率的更新が存在する中で、分散型量子化器バージョン間の一貫性を形式的に確立できるか？
• RQ5 ステップサイズおよび通信重みにどのような条件を課すことで、システム全体の almost sure 収束が保証されるか？

主な発見

• 複数の分散型量子化器バージョンは、almost sure に漸近的に一貫性を達成する。すなわち、すべての i,j に対して t → ∞ のとき w^i(t) - w^j(t) → 0 である。
• すべての量子化器バージョンは、almost sure に同じほぼ最適な値へ収束し、量子化基準の意味で極限においてグローバル最適性を達成する。
• 勾配ノルムが0へ almost sure に収束することを示しており、量子化コスト関数の臨界点へ収束していることを示している。
• 通信遅延に対して頑健である。解析は、任意の有限遅延 τ^{i,j}(t) ≤ t を想定しても成立する。
• 量子化器状態および勾配がコンact集合内で有界であることにより、反復プロセスの安定性が保証される。
• ステップサイズのsummabilityおよび凸結合重みの構造により、非同期更新下でもシステムが発散しないことが保証される。