[論文レビュー] Distributed k-means algorithm

Gabriele Oliva, Roberto Setola+1 more|arXiv (Cornell University)|Dec 15, 2013

Distributed Control Multi-Agent Systems参考文献 28被引用数 28

ひとこと要約

本稿では、高次元の観測を持つエージェントが局所的な1ホップ通信に基づいて自律的にクラスタリングを行う、完全に分散型のk-meansアルゴリズムを提示する。この手法は、有限時間平均協調を用いて重心を計算し、分散的にクラスタ割り当てを維持することで、クラスタがトポロジカルに分離している場合でも、集中型k-meansと同一の目的関数値に収束することを保証する。

ABSTRACT

In this paper we provide a fully distributed implementation of the k-means clustering algorithm, intended for wireless sensor networks where each agent is endowed with a possibly high-dimensional observation (e.g., position, humidity, temperature, etc.) The proposed algorithm, by means of one-hop communication, partitions the agents into measure-dependent groups that have small in-group and large out-group "distances". Since the partitions may not have a relation with the topology of the network--members of the same clusters may not be spatially close--the algorithm is provided with a mechanism to compute the clusters'centroids even when the clusters are disconnected in several sub-clusters.The results of the proposed distributed algorithm coincide, in terms of minimization of the objective function, with the centralized k-means algorithm. Some numerical examples illustrate the capabilities of the proposed solution.

研究の動機と目的

• 高次元の観測を持つエージェントを対象とした、大規模な無線センサーネットワークに適した完全分散型k-meansクラスタリングアルゴリズムの開発。
• 分散実装が集中型k-meansアルゴリズムと同一の目的関数最小化を達成することの保証。
• ネットワークトポロジー上でクラスタが分離している場合でも、正確な重心計算を可能にすること。
• 集中型手法と比較してメモリ複雑度をO((k+n)d)からO(kd)に削減し、リソース制限のあるデバイスへの展開を可能にすること。
• モバイルロボットの協調や環境モニタリングなどの動的で分散型の環境において、リアルタイムかつスケーラブルなクラスタリングを支援すること。

提案手法

• アルゴリズムは2段階の反復的プロセスを用いる：最近傍重心に基づくクラスタ割り当てと、協調による重心の最適化。
• トポロジカルに接続されていない部分クラスタ間でも収束を保証するため、有限時間平均協調アルゴリズムを用いてクラスタ重心を計算する。
• 各エージェントは、クラスタ割り当て（rij）と重心推定値（cj）の局所的状態変数を維持し、局所的通信と協調プロトコルを用いて更新する。
• 協調フェーズでは、最小多項式および可観測性行列の計算から得られる係数を用いた重み付き平均化を実行し、有限時間収束を達成する。
• 重心更新に必要な中間値を計算するための事前協調ステップを統合し、有限時間収束を達成するため、各エージェントでδiステップを実行する。
• 目的関数D(T)を反復的に最小化し、変化量が閾値∆max未満に下がった段階で収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元の観測を持つエージェントのネットワークにおいて、完全に分散型k-meansアルゴリズムが集中型バージョンと同一の目的関数最小化を達成できるか？
• RQ2 クラスタがトポロジカルに分離している場合でも、分散的に正確に重心を計算する方法は何か？
• RQ3 限られた通信能力を持つエージェント間で、重心推定値の有限時間収束を実現する協調メカニズムは何か？
• RQ4 特にリソース制限のある環境において、提案手法の時間的・メモリ的複雑度は集中型k-meansと比べてどのように異なるか？
• RQ5 動的ネットワーク状態やノイズのある測定値下でも、アルゴリズムは正しさと収束性を維持できるか？

主な発見

• 理論的証明（定理1）およびシミュレーション結果により、分散型k-meansアルゴリズムが集中型バージョンと同一の目的関数最小化を達成することが確認された。
• メモリ複雑度をO((k+n)d)からO(kd)に削減し、低リソースデバイスへの適用が可能になった。
• シミュレーションでは、分散型アルゴリズムが集中型k-meansと同一のクラスタ割り当てと重心位置を達成し、目的関数値の差が1e-6未満にとどまった。
• 重心最適化フェーズには、合計の協調反復回数の約85%が要され、協調フェーズにおける高い計算効率が示された。
• 空間的に離れたエージェントが観測の類似性により同じクラスタに属する場合でも、アルゴリズムはエージェントを適切にクラスタに分割できた。
• ネットワークの接続断にもかかわらず、観測の類似性に基づいてクラスタが形成されることを示す例から、手法のロバスト性が裏付けられた。