[論文レビュー] Clustering with Distributed Data

Soummya Kar, Brian Swenson|arXiv (Cornell University)|Jan 1, 2019

Advanced Clustering Algorithms Research参考文献 70被引用数 7

ひとこと要約

本稿では、複数のエージェントに分散して格納されたデータを対象とするネットワーク化されたシステム向けに、NK-meansと呼ばれる分散型K-meansクラスタリングアルゴリズムを提案する。このアルゴリズムは、局所的な近隣通信を用いて、低次元の統計情報に基づき反復的にクラスタ中心を更新する。また、パrameter ρを増加させることで、グローバルなLloydの最小値に限りなく近い近似解に収束することを証明しており、生データの共有なしに高精度なクラスタリングを実現することが可能である。

ABSTRACT

We consider $K$-means clustering in networked environments (e.g., internet of things (IoT) and sensor networks) where data is inherently distributed across nodes and processing power at each node may be limited. We consider a clustering algorithm referred to as networked $K$-means, or $NK$-means, which relies only on local neighborhood information exchange. Information exchange is limited to low-dimensional statistics and not raw data at the agents. The proposed approach develops a parametric family of multi-agent clustering objectives (parameterized by $ρ$) and associated distributed $NK$-means algorithms (also parameterized by $ρ$). The $NK$-means algorithm with parameter $ρ$ converges to a set of fixed points relative to the associated multi-agent objective (designated as `generalized minima'). By appropriate choice of $ρ$, the set of generalized minima may be brought arbitrarily close to the set of Lloyd's minima. Thus, the $NK$-means algorithm may be used to compute Lloyd's minima of the collective dataset up to arbitrary accuracy.

研究の動機と目的

• IoT、センサーネットワーク、車両通信ネットワークなどのリソース制約のある分散型環境においてK-meansクラスタリングを実行する課題に対処すること。
• 生データの送信による通信オーバーヘッド、遅延、プライバシーリスクを伴う中央集権型クラウドベースのクラスタリングの限界を克服すること。
• エージェントがローカル計算と低次元の通信のみを用いて、グローバルなK-means解を共同で計算できる分散型アルゴリズムを開発すること。
• ρをパrameterとして用いることで、真のLloydの最小値に近い解への収束を保証し、近似的に最適なクラスタリングを実現すること。
• 生データの交換を避け、ローカル統計情報と近隣通信に依存することで、プライバシーとスケーラビリティを維持すること。

提案手法

• ρをパrameterとするパラメトリックなマルチエージェントクラスタリング目的関数の族を提案し、中央集権型K-means目的関数を一般化する。
• 各エージェントがローカルなクラスタ中心の推定値を維持し、隣接エージェントからのメッセージとローカルデータのみを用いてそれを更新する分散型アルゴリズムNK-meansを設計する。
• 生データポイントの送信を避けるために、情報交換を低次元の統計情報（例：ローカルなクラスタ中心とデータ件数）に制限する。
• ρという正則化パラメータを導入し、ローカルとグローバルなクラスタリング目的関数のトレードオフを制御することで、一般化された最小値への収束を可能にする。
• エージェントが隣接エージェントの情報を重み付き平均化することで、反復的にクラスタ中心の推定値を改善する、コンSENSUSに基づく更新ルールを用いる。
• アルゴリズムがρパラメータ化された目的関数の固定点（一般化された最小値）に収束することを証明し、ρが増加するにつれて精度が向上する理論的保証を提示する。

実験結果

リサーチクエスチョン

• RQ1 生データを共有せずに、グローバルなLloydの最小値に限りなく近い解に収束する分散型K-meansアルゴリズムを設計できるか？
• RQ2 大規模かつ分散型ネットワークにおいて、ローカルな通信と計算をどのように活用すれば、正確なクラスタリングを達成できるか？
• RQ3 パrameter ρは、ローカルとグローバルなクラスタリング目的関数のバランスをどのようにとめ、高品質な解への収束を保証するか？
• RQ4 提案されたアルゴリズムは、プライバシーを維持しながら通信オーバーヘッドを低減させつつ、ネットワーク化されたシステムにおけるクラスタリング精度を保持できるか？
• RQ5 分散型NK-meansアルゴリズムが固定点に収束する条件は何か？また、その固定点は最適解からどれほど近いか？

主な発見

• NK-meansアルゴリズムは、ρパラメータ化された分散型目的関数の固定点（一般化された最小値）に収束する。
• ρが増加するにつれて、一般化された最小値の集合は、中央集権型K-means目的関数のグローバルなLloydの最小値の集合に一様に収束する。
• 任意のε > 0に対して、すべてのエージェントのクラスタ中心推定値が真のLloydの最小値からεの距離以内に収まる有限なρεが存在する。
• データ分布の標準的仮定、通信グラフの連結性、データおよびクラスタ中心の有界性の仮定のもとで、収束が保証される。
• 生データではなく、低次元の統計情報（例：クラスタ中心と件数）のみを交換することで、プライバシーが確保される。
• 理論的分析により、パrameter調整によってグローバルなK-means解の近似精度を任意に高められることを確認した。