[논문 리뷰] One-Shot Federated Learning

Neel Guha, Ameet Talwalkar외 1명|arXiv (Cornell University)|2019. 02. 28.

Privacy-Preserving Technologies in Data참고 문헌 7인용 수 138

한 줄 요약

이 논문은 앙상블 모델과 증류를 사용하여 단 한 번의 통신 라운드에서 글로벌 모델을 구축하는 원샷 연합학습(one-shot federated learning)을 제시하며, 로컬 베이스라인 대비 평균 상대 ROC-AUC 51.5%의 이득과 도달 불가능한 글로벌 이상치의 90.1%를 달성한다.

ABSTRACT

We present one-shot federated learning, where a central server learns a global model over a network of federated devices in a single round of communication. Our approach - drawing on ensemble learning and knowledge aggregation - achieves an average relative gain of 51.5% in AUC over local baselines and comes within 90.1% of the (unattainable) global ideal. We discuss these methods and identify several promising directions of future work.

연구 동기 및 목표

• 단일 라운드에서 글로벌 모델을 학습하여 반복적인 연합학습에 대한 통신 효율적인 대안을 제시한다.
• 장치 간 데이터가 비 IID일 때 이질적인 로컬 모델을 집계하기 위해 앙상블 학습을 활용한다.
• 앙상블을 압축하고 프라이버시 보존 학습을 가능케 하기 위한 반지도 학습(distillation)을 탐구한다.
• 제안 방법을 실제 연합학습 데이터셋에서 평가하여 실용성과 성능을 검토한다.
• 개인화, 프라이버시 보장, 그리고 비볼록 모델에 대한 향후 방향을 제시한다.

제안 방법

• 각 디바이스는 데이터를 사용하여 로컬 볼록 모델(커널화된 SVM)을 완료하도록 학습한다.
• 중앙 서버는 CV 기반 성능, 데이터 크기 또는 무작위 선택과 같은 전략을 사용하여 앙상블을 형성할 로컬 모델의 하위 집합(k 모델)을 선택한다.
• 선정된 로컬 모델들의 앙상블 예측은 평균화하여 결합한다.
• 반지도 설정에서 앙상블은 이중 공간에서 근접성 기반 증류를 통해 프록시 비라벨 데이터로 더 작은 모델로 증류된다.
• 증류는 프록시 데이터에서 교사 앙상블 예측과 학생 모델 간의 L2 차이를 최소화하여 컴팩트한 f'(x)를 얻는다.
• 서포트 벡터에 대한 로컬 액세스가 필요한 모델의 프라이버시 이점을 증류가 제공한다는 점을 논의한다.

실험 결과

연구 질문

• RQ1 앙상블 학습을 이용한 원샷 연합이 반복적인 통신 라운드 없이도 경쟁력 있는 글로벌 성능을 달성할 수 있는가?
• RQ2 로컬에서 학습된 모델들보다 글로벌 성능을 향상시키는 데 있어 앙상블 선택 전략(CV 기반, 데이터 기반, 무작위)의 효과는 어느 정도인가?
• RQ3 라벨이 없는 프록시 데이터에서의 증류가 통신을 줄이면서도 앙상블 성능을 유지하거나 향상시키는가?
• RQ4 비 IID 디바이스 데이터를 가진 실제 연합 데이터셋에서의 실용적 이득과 한계는 무엇인가?

주요 결과

• 앙상블 방법은 평가된 모든 데이터셋에서 로컬 베이스라인을 일관되게 능가한다.
• 선정된 앙상블(CV, 데이터 또는 무작위 전략)은 일반적으로 전체 앙상블보다 우수하지만, 장치 수가 적은 Gleam에서는 예외이다.
• 데이터셋 전체에서 이 방법은 로컬 베이스라인 대비 평균 상대 ROC-AUC 이득 51.5%를 달성한다.
• 앙상블 방식은 도달 불가능한 글로벌 이상 분류기에 90.1%에 근접하다.
• 프록시 데이터가 있는 반지도 설정에서 증류된 모델은 비교적 적은 양의 프록시 샘플로도 앙상블 성능을 근사할 수 있다.
• 증류는 원시 로컬 정보를 공유할 필요성을 줄여 프라이버시 친화적 이점을 제공한다.