[논문 리뷰] Orchestra: Unsupervised Federated Learning via Globally Consistent Clustering

Ekdeep Singh Lubana, Chi Ian Tang외 3명|arXiv (Cornell University)|2022. 05. 23.

Privacy-Preserving Technologies in Data인용 수 20

한 줄 요약

오케스트라는 로컬에서 계산된 클러스터링과 서버 측 글로벌 클러스터링을 활용해 전역적으로 일관된 표현을 얻는 비지도 연합학습 프레임워크를 제안한다. 이는 이질성에 대한 강인성과 커뮤니케이션 효율성 향상을 달성한다.

ABSTRACT

Federated learning is generally used in tasks where labels are readily available (e.g., next word prediction). Relaxing this constraint requires design of unsupervised learning techniques that can support desirable properties for federated training: robustness to statistical/systems heterogeneity, scalability with number of participants, and communication efficiency. Prior work on this topic has focused on directly extending centralized self-supervised learning techniques, which are not designed to have the properties listed above. To address this situation, we propose Orchestra, a novel unsupervised federated learning technique that exploits the federation's hierarchy to orchestrate a distributed clustering task and enforce a globally consistent partitioning of clients' data into discriminable clusters. We show the algorithmic pipeline in Orchestra guarantees good generalization performance under a linear probe, allowing it to outperform alternative techniques in a broad range of conditions, including variation in heterogeneity, number of clients, participation ratio, and local epochs.

연구 동기 및 목표

• 연합 학습에서 라벨 데이터의 부족 문제를 해결하면서 통계적 및 시스템 이질성에 대한 강인성을 유지한다.
• 연합의 계층 구조를 활용해 클라이언트 데이터의 글로벌 클러스터링을 조정한다.
• 연합 학습에서 클러스터화 가능한 표현을 학습하기 위한 이론적 보장 및 실용적 파이프라인을 제공한다.
• 다양한 FL 조건하에서 연합 설정 내의 클러스터링 기반 SSL이 중앙집중식 SSL의 직접 확장보다 우수함을 보여준다.

제안 방법

• 표현은 비지도 SSL 목표를 사용해 로컬에서 학습된다.
• 클라이언트는 균형 잡힌 클러스터를 보장하기 위해 Sinkhorn-Knopp 클러스터링으로 로컬 중심점을 계산한다.
• 로컬 중심점이 서버로 전송되고, 서버는 이를 글로벌 클러스터로 클러스터링해 G개의 동등 크기의 중심점을 얻는다.
• 클라이언트는 글로벌 중심점을 사용해 증강의 클러스터 할당을 교차 엔트로피 손실로 정렬/정렬 맞춘다.
• 퇴행적 해를 방지하고 학습을 안정화하기 위해 EMA 온라인 모델과 예측형 SSL 작업(회전 예측)을 사용한다.
• 하이퍼파라미터는 비지도 유사도 점수 Align과 Unif를 사용해 kNN 정확도를 예측하도록 조정된다.

실험 결과

연구 질문

• RQ1 라벨 없이 선형 탐색(linear probing)하에서 비지도 연합 학습이 좋은 일반화 성능을 달성할 수 있는가?
• RQ2 전역적으로 일관된 클러스터링 접근 방식이 이질성에 대한 강인성을 향상시키고 FL에서의 통신 비용을 줄이는가?
• RQ3 라벨 없이 비지도 FL 설정에서 표현 품질을 반영하도록 하이퍼파라미터를 어떻게 조정할 수 있는가?
• RQ4 군집 품질(클러스터 간 혼합이 낮은 것)이 연합 SSL의 일반화와 어떤 이론적 보장과 연결되는가?

주요 결과

• Orchestra는 비IID 크로스-디바이스 및 크로스-사일로 설정에서 선형 탐침(linear probe) 하에 중앙집중형 SSL 방법의 연합 확장보다 자주 우수한 성능을 보인다.
• Orchestra는 이질성, 참여 비율, 로컬 에폭에 대해 강인성을 보여주며, 클라이언트 수가 증가함에 따라 확장성이 향상된다.
• 기법은 중간에서 높은 정확도에서 baselines에 비해 커뮤니케이션 라운드 측면에서 더 빠른 수렴을 달성한다.
• Sinkhorn-Knopp를 통한 로컬 클러스터링과 글로벌 클러스터링은 유지된 성능과 함께 프라이버시 친화적(로컬-DP) 옵션을 제공한다.
• 라벨이 없는 유사도 점수에 기반한 하이퍼파라미터 튜닝이 방법 간 더 높은 kNN 정확도와 일치한다.