[論文レビュー] Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces

Saeed Vahidian, Mahdi Morafah+5 more|arXiv (Cornell University)|Sep 21, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文は、切り捨て特異値分解（SVD）を用いてクライアントのデータ部分空間間の主角度を計算することで、クライアント間の分布類似性を効率的に同定する、ワンショットクラスタリング型フェデレーテッドラーニングフレームワークPACFLを提案する。各クライアントから3〜5本の主ベクトルのみを送信することで、反復的な学習を経ずにサーバーがクラスタを形成でき、収束が速くなり、通信量が削減され、未知のクラスタ数やラベルスキーをはるかに超えた複雑なデータ非同一性に対しても頑健である。

ABSTRACT

Clustered federated learning (FL) has been shown to produce promising results by grouping clients into clusters. This is especially effective in scenarios where separate groups of clients have significant differences in the distributions of their local data. Existing clustered FL algorithms are essentially trying to group together clients with similar distributions so that clients in the same cluster can leverage each other's data to better perform federated learning. However, prior clustered FL algorithms attempt to learn these distribution similarities indirectly during training, which can be quite time consuming as many rounds of federated learning may be required until the formation of clusters is stabilized. In this paper, we propose a new approach to federated learning that directly aims to efficiently identify distribution similarities among clients by analyzing the principal angles between the client data subspaces. Each client applies a truncated singular value decomposition (SVD) step on its local data in a single-shot manner to derive a small set of principal vectors, which provides a signature that succinctly captures the main characteristics of the underlying distribution. This small set of principal vectors is provided to the server so that the server can directly identify distribution similarities among the clients to form clusters. This is achieved by comparing the similarities of the principal angles between the client data subspaces spanned by those principal vectors. The approach provides a simple, yet effective clustered FL framework that addresses a broad range of data heterogeneity issues beyond simpler forms of Non-IIDness like label skews. Our clustered FL approach also enables convergence guarantees for non-convex objectives. Our code is available at https://github.com/MMorafah/PACFL.

研究の動機と目的

• クラスタリング型FLの既存手法がクラスタの安定化に多数の学習ラウンドを要することによる非効率性を是正すること。
• クラスタリング型FLにおいてクラスタ数を事前に定義する必要をなくし、真のクラスタ数が不明な場合の性能低下を回避すること。
• 各ラウンドごとに全モデル重みや複数のクラスタモデルを送信するのを避けることで、通信コストを低減すること。
• わずかな主ベクトルのみを用いて、直接的かつプライバシー保護型でクライアント間の分布類似性を同定できること。
• データ非同一性が強い環境下でも非凸目的関数に対して収束保証を提供すること。

提案手法

• 各クライアントは、局所データに対して切り捨て特異値分解（SVD）を実行し、データ分布の低次元的シグネチャを形成するための少数（3〜5本）の主ベクトルを抽出する。
• これらの主ベクトルがサーバーに送信され、サーバーはそれらを用いてクライアントのデータ部分空間間の主角度を計算し、分布類似度を測定する。
• サーバーは主角度のコサイン類似度に基づいてクライアントをクラスタリングし、反復的モデル学習を経ずにワンショットでクラスタを形成する。
• クライアントのデータプライバシーが保たれるのは、生データや全モデル重みではなく主ベクトルのみが共有されるためである。
• 本フレームワークは、クライアントを内在的なデータ類似度に基づいてクラスタに割り当てることで、パーソナライゼーションとグローバライゼーションの間で柔軟なトレードオフを可能にする。
• 本手法は標準的なFL最適化アルゴリズムと互換性があり、非凸目的関数下でも理論的収束保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 反復的学習やモデル更新なしに、フェデレーテッドラーニングにおけるクライアント間の分布類似性を効率的に同定できるか？
• RQ2 クラスタ数を事前に指定する必要がなく、ワンショットでクラスタリングを実行できるか？
• RQ3 クライアントのデータ部分空間間の主角度が、データ非同一性が強いFL環境下でも、データ分布類似度の信頼できる代理指標として機能するか？
• RQ4 クラスタリング型FLにおいて、全モデル重みと比較して主ベクトルのみを送信することで、どの程度通信効率が向上するか？
• RQ5 本手法は、データ非同一性が強いFL環境下でも、非凸最適化問題に対して収束保証を維持できるか？

主な発見

• PACFLは、反復的安定化を経ずに1ステップでクラスタを形成するため、FedAvg や FedProx や IFCA などのベースライン手法よりも収束が速い。
• 各クライアントあたり3〜5本の主ベクトルのみを送信することで、全モデル重みと比較して通信コストを顕著に削減した。
• CIFAR-100、CIFAR-10、FMNIST、SVHN において、さまざまなデータ非同一性設定下で、IFCA や他のクラスタリング型FLベースラインを上回った。
• クラスタ数が事前に不明な状況でも、4つのクラスタを含む Mix4 ベンチマークで優れた性能を示しており、未知のクラスタ数に対しても頑健であることが実証された。
• 主角度の使用により、単なるラベルスキーをはるかに超えた複雑なデータ非同一性、例えば混合分布や明確に異なる学習タスクの状況でも正確なクラスタリングが可能である。
• 実験結果から、PACFLは特に高非同一性環境下で Per-FedAvg や LG よりも高いテスト精度を達成しており、パーソナライズドFLにおける有効性が確認された。