[논문 리뷰] Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces

Saeed Vahidian, Mahdi Morafah외 5명|arXiv (Cornell University)|2022. 09. 21.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 주어진 데이터 하위공간 간의 주성분 각도를 계산하는 단순화된 특이값 분해(SVD)를 사용하여 클라이언트 간의 분포 유사성을 효율적으로 식별하는 one-shot 클러스터드 페더레이티드 러닝 프레임워크인 PACFL을 제안한다. 클라이언트당 3~5개의 주성분 벡터만을 교환함으로써 서버는 반복적 학습 없이 클러스터를 형성할 수 있으며, 이는 더 빠른 수렴, 통신 비용 감소, 알려지지 않은 클러스터 수 및 레이블 기울기 초과하는 복잡한 데이터 이질성에 대한 강건성을 제공한다.

ABSTRACT

Clustered federated learning (FL) has been shown to produce promising results by grouping clients into clusters. This is especially effective in scenarios where separate groups of clients have significant differences in the distributions of their local data. Existing clustered FL algorithms are essentially trying to group together clients with similar distributions so that clients in the same cluster can leverage each other's data to better perform federated learning. However, prior clustered FL algorithms attempt to learn these distribution similarities indirectly during training, which can be quite time consuming as many rounds of federated learning may be required until the formation of clusters is stabilized. In this paper, we propose a new approach to federated learning that directly aims to efficiently identify distribution similarities among clients by analyzing the principal angles between the client data subspaces. Each client applies a truncated singular value decomposition (SVD) step on its local data in a single-shot manner to derive a small set of principal vectors, which provides a signature that succinctly captures the main characteristics of the underlying distribution. This small set of principal vectors is provided to the server so that the server can directly identify distribution similarities among the clients to form clusters. This is achieved by comparing the similarities of the principal angles between the client data subspaces spanned by those principal vectors. The approach provides a simple, yet effective clustered FL framework that addresses a broad range of data heterogeneity issues beyond simpler forms of Non-IIDness like label skews. Our clustered FL approach also enables convergence guarantees for non-convex objectives. Our code is available at https://github.com/MMorafah/PACFL.

연구 동기 및 목표

• 기존의 클러스터드 FL 방법들이 클러스터를 안정화시키기 위해 많은 학습 라운드가 필요한 비효율성을 해결하기 위해.
• 클러스터드 FL에서 클러스터 수를 사전에 정의할 필요를 제거함으로써 진짜 수가 알려지지 않았을 경우 성능 저하를 방지하기 위해.
• 각 라운드당 전체 모델 가중치 또는 다수의 클러스터 모델을 전송하는 것을 피하여 통신 비용을 줄이기 위해.
• 단지 몇 개의 주성분 벡터만을 사용하여 직접적이고 프라이버시를 보존하는 방식으로 클라이언트 간의 분포 유사성을 식별하기 위해.
• 이질적인 FL 환경에서 비볼록 목표 함수에 대한 수렴 보장을 제공하기 위해.

제안 방법

• 각 클라이언트는 로컬 데이터에 대해 단순화된 SVD를 수행하여 기저 데이터 분포의 저차원 서명을 형성하는 소수의(3~5개) 주성분 벡터를 추출한다.
• 이 주성분 벡터들이 서버로 전송되며, 서버는 이를 바탕으로 클라이언트 데이터 하위공간 간의 주성분 각도를 계산하여 분포 유사성을 측정한다.
• 서버는 주성분 각도의 코사인 유사도를 기반으로 클라이언트를 클러스터링하여 반복적 모델 학습 없이 one-shot 클러스터 형성을 가능하게 한다.
• 클라이언트 데이터의 기밀성을 유지하는 데 기여하며, 원시 데이터나 전체 모델 가중치가 아닌 주성분 벡터만 공유되기 때문이다.
• 고유한 데이터 유사성 기반으로 클라이언트를 클러스터에 할당하므로 개인화와 글로벌화 사이의 탄력적인 트레이드오프를 지원한다.
• 표준 FL 최적화 알고리즘과 호환되며, 비볼록 목표 함수 하에서 이론적 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 반복적 학습이나 모델 업데이트 없이 페더레이티드 러닝에서 클라이언트 간의 분포 유사성을 효율적으로 식별할 수 있는가?
• RQ2 클러스터 수를 사전에 지정할 필요 없이 one-shot 방식으로 클러스터링을 수행할 수 있는가?
• RQ3 이질적인 FL 환경에서 클라이언트 데이터 하위공간 간의 주성분 각도가 데이터 분포 유사성의 신뢰할 수 있는 대체 측정 기준이 될 수 있는가?
• RQ4 클러스터드 FL에서 전체 모델 가중치 대비 주성분 벡터만 전송할 경우 통신 효율성 향상은 어느 정도 이루어지는가?
• RQ5 이 방법은 데이터 이질성이 높은 FL 환경에서 비볼록 최적화 문제에 대해 수렴 보장을 유지할 수 있는가?

주요 결과

• PACFL은 FedAvg, FedProx, IFCA와 같은 베이스라인 방법보다 더 빠른 수렴을 달성하며, 반복적 안정화 없이 한 번의 단계에서 클러스터를 형성한다.
• 클라이언트당 3~5개의 주성분 벡터만 전송함으로써 전체 모델 가중치 대비 통신 비용을 크게 절감한다.
• CIFAR-100, CIFAR-10, FMNIST, SVHN에서 다양한 데이터 이질성 설정 하에서 IFCA 및 기타 클러스터드 FL 베이스라인보다 우수한 성능을 보였다.
• 클러스터 수가 알려지지 않은 상황에서도 강건성을 입증하였으며, 4개의 클러스터를 포함하는 Mix4 벤치마크에서 수치가 높은 성능을 기록하였다.
• 레이블 기울기 초과하는 복잡한 데이터 이질성, 예를 들어 혼합 분포 또는 서로 다른 학습 작업과 같은 상황에서도 주성분 각도의 사용이 정확한 클러스터링을 가능하게 하였다.
• 실험 결과, 특히 고도의 이질성 환경에서 Per-FedAvg와 LG보다 높은 테스트 정확도를 달성함으로써 개인화된 FL에서의 효과성을 확인하였다.