[論文レビュー] Distributed Gradient Clustering: Convergence and the Effect of Initialization

Aleksandar Armacki, Himkant Sharma+4 more|arXiv (Cornell University)|Mar 20, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

論文は、中心初期化が分散勾配ベースのクラスタリング（DGC- Fρ）をピアツーピアネットワーク上でどのように影響するかを研究し、初期化に対する耐性を中央集権的勾配クラスタリングと比較し、性能向上を図る分散型K-means++ベース初期化（DKM+C）を提案する。

ABSTRACT

We study the effects of center initialization on the performance of a family of distributed gradient-based clustering algorithms introduced in [1], that work over connected networks of users. In the considered scenario, each user contains a local dataset and communicates only with its immediate neighbours, with the aim of finding a global clustering of the joint data. We perform extensive numerical experiments, evaluating the effects of center initialization on the performance of our family of methods, demonstrating that our methods are more resilient to the effects of initialization, compared to centralized gradient clustering [2]. Next, inspired by the $K$-means++ initialization [3], we propose a novel distributed center initialization scheme, which is shown to improve the performance of our methods, compared to the baseline random initialization.

研究の動機と目的

• connected グラフ上で分散クラスタリングの性能に対する中心初期化の影響を評価する。
• DGC- Fρと中央集権型勾配クラスタリング（CGC）との初期化感度を比較する。
• クラスタリング成果を改善するため、K-means++に触発された分散初期化方式を提案・評価する。
• 複数ラウンドの近傍通信を活用した実用的な分散初期化プロトコル（DKM+C）を開発・検証する。

提案手法

• ローカルデータセットと近隣通信を用いた連結グラフ上の中心ベース分散クラスタリングを体系化する。
• 近傍間の中心不一致を抑制し局所ロス項を組み込む緩和最適化（Jρ）を採用する。
• DGC- Fρ の反復を、合意更新と局所データ上の勾配ステップを組み合わせて記述する。
• L ラウンドの近傍情報を用いたK-means++に基づく初期化スキーム DKM+C を提案し、その後局所クラスタリングを実行する。
• 同質・異質分布のアイリスデータで、ランダム初期化とK-means++初期化を比較し、ロバスト性を評価する。
• 初期化における通信ラウンドの影響を分析し、ランダム初期化よりも改善を示す。

実験結果

リサーチクエスチョン

• RQ1 分散勾配クラスタリング（DGC- Fρ）における中心初期化は収束と最終クラスタリング品質にどのように影響するか？
• RQ2 分散ネットワークにおいてDGC- FρはCGCより初期化に対して頑健か？
• RQ3 分散K-means++ベース初期化（DKM+C）はDGC- Fρのランダム初期化を上回る性能を達成できるか？
• RQ4 初期化品質とクラスタリング結果に対する近傍通信ラウンド数の制約の影響は？
• RQ5 局所K-means++と近傍情報を組み合わせるとデータの異質性への感度は緩和されるか？

主な発見

• DGC- Fρ は同質なアイリスデータの分散クラスタリング時にCGCより初期化感度が低いことを示す。
• 局所K-means++初期化は異質データ分布でもDGC- KMの性能を改善する。
• 複数の通信ラウンドを用いた分散K-means++ベース初期化（DKM+C）はランダム初期化より最終精度が高い。
• DKM+Cにおける通信ラウンドを増やすと、同質・異質設定の双方で初期化品質がさらに向上する。
• 理論的結果として、緩い仮定下でDGC- Fρ の中心は固定点へ収束し有限時間でクラスタ収束することを保証する。
• 実験は、多重局所初期化と合意ダイナミクスにより、初期化に対する分散手法の実用的な耐性を示す。