[논문 리뷰] An Improved Algorithm for Clustered Federated Learning

Harshvardhan, Avishek Ghosh외 1명|arXiv (Cornell University)|2022. 10. 20.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 기존의 IFCA와 같은 기존 방법의 핵심적인 한계인 클러스터 수에 대한 사전 지식과 양호한 초기화가 필요 없도록 하는 새로운 피어드 클러스터링 알고리즘인 SR-FCA를 제안한다. 초기에 싱글턴 클러스터로 시작하여 각 클러스터 내에서 강력한 피어드 학습을 통해 반복적으로 정밀도를 높임으로써, 적절한 학습률 선택 시 임의로 작은 클러스터링 오차를 달성하며, 비볼록 신경망 작업에서 강력한 수렴성과 성능을 보여준다.

ABSTRACT

In this paper, we address the dichotomy between heterogeneous models and simultaneous training in Federated Learning (FL) via a clustering framework. We define a new clustering model for FL based on the (optimal) local models of the users: two users belong to the same cluster if their local models are close; otherwise they belong to different clusters. A standard algorithm for clustered FL is proposed in \cite{ghosh_efficient_2021}, called exttt{IFCA}, which requires \emph{suitable} initialization and the knowledge of hyper-parameters like the number of clusters (which is often quite difficult to obtain in practical applications) to converge. We propose an improved algorithm, \emph{Successive Refine Federated Clustering Algorithm} ( exttt{SR-FCA}), which removes such restrictive assumptions. exttt{SR-FCA} treats each user as a singleton cluster as an initialization, and then successively refine the cluster estimation via exploiting similar users belonging to the same cluster. In any intermediate step, exttt{SR-FCA} uses a robust federated learning algorithm within each cluster to exploit simultaneous training and to correct clustering errors. Furthermore, exttt{SR-FCA} does not require any \emph{good} initialization (warm start), both in theory and practice. We show that with proper choice of learning rate, exttt{SR-FCA} incurs arbitrarily small clustering error. Additionally, we validate the performance of our algorithm on standard FL datasets in non-convex problems like neural nets, and we show the benefits of exttt{SR-FCA} over baselines.

연구 동기 및 목표

• 기존의 클러스터링된 피어드 학습 알고리즘에서 양호한 초기화와 알려진 클러스터 수 요구 조건이 비현실적임을 해결한다.
• 클러스터 수나 초기화에 대한 사전 가정 없이도 자동으로 클러스터를 추정할 수 있는 방법을 개발한다.
• 딥 뉴럴 네트워크와 같은 비볼록 FL 환경에서 수렴성과 낮은 클러스터링 오차를 보장한다.
• 이질적인 FL 환경에서 효율성과 정확도를 향상시키기 위해 동시에 학습과 클러스터링 정밀도 향상을 가능하게 한다.

제안 방법

• 모든 클라이언트를 싱글턴 클러스터로 초기화하여 따뜻한 시작이나 사전 클러스터 지식에 의존하지 않는다.
• 로컬 모델 간의 유사도에 기반해 근접한 클러스터를 병합하는 순차적 정밀도 전략을 사용한다.
• 모든 반복 단계에서 각 클러스터 내에서 강력한 피어드 학습 알고리즘을 적용하여 모델 정확도를 향상시키고 클러스터링 오차를 수정한다.
• 손실 함수의 강력한 볼록성과 매끄러움 성질을 활용하여 이론적 수렴 보장을 확보한다.
• 모든 클러스터에 걸쳐 클러스터링 오차 확률을 유계로 제한하기 위해 유니온 바운드와 농도 부등식을 활용한다.
• 좌표별 리프시츠 조건과 코시-슈바르츠 부등식을 사용하여 수렴 분석을 위한 전역 리프시츠 상수를 유도한다.

실험 결과

연구 질문

• RQ1 알려진 클러스터 수나 양호한 초기화가 필요 없이도 피어드 클러스터링 알고리즘이 수렴할 수 있는가?
• RQ2 딥 러닝과 같은 비볼록 FL 환경에서 클러스터링 오차를 어떻게 최소화할 수 있는가?
• RQ3 클러스터의 반복적 정밀도와 클러스터 내 FL을 조합하면 클러스터링 정확도와 수렴성을 향상시킬 수 있는가?
• RQ4 최소한의 가정 하에 클러스터링 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 실증적으로 기준 모델 대비 제안된 방법은 클러스터링 정확도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• 적절한 학습률 선택 시, 클러스터 수에 대한 사전 지식 없이도 SR-FCA는 임의로 작은 클러스터링 오차를 달성한다.
• 이론적으로나 실증적으로나 따뜻한 시작이나 초기화가 필요 없이 최소한의 가정 하에 알고리즘이 수렴한다.
• 이론적 분석 결과, 클러스터당 클러스터링 오차 확률은 $ \frac{4d}{(1 + nc_{\min}\hat{L}D)^d} $ 이하로 유계이며, 데이터 또는 클러스터 크기가 증가할수록 감소한다.
• 모든 클러스터에 대해 유니온 바운드를 적용하면 총 오차 유계가 $ \frac{mu''}{c_{\min}} $ 가 되며, $ c_{\min} $ 이 0에서 멀리 떨어져 있을 경우 이 값은 여전히 작다.
• 표준 피어드 학습 데이터셋에서의 실증 평가 결과, SR-FCA는 신경망과 같은 비볼록 환경에서 기준 모델을 능가하는 성능을 보였다.
• 로컬 모델이 정확히 동일하지 않더라도 근접한 경우에도 알고리즘이 강건성과 수렴성을 유지하여 실제 피어드 학습의 이질성 특성을 반영한다.