[논문 리뷰] Distilled One-Shot Federated Learning

Yanlin Zhou, George Pu외 3명|arXiv (Cornell University)|2020. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 73

한 줄 요약

DOSFL은 각 클라이언트의 비공개 데이터를 단 한 라운드에 합성 예제로 추출하고, 합성 데이터만 서버로 전송하여 전역 모델을 학습시키며 중앙화 성능의 93%~99%를 달성하는 동시에 최대 1000배까지의 통신량을 줄인다.

ABSTRACT

Current federated learning algorithms take tens of communication rounds transmitting unwieldy model weights under ideal circumstances and hundreds when data is poorly distributed. Inspired by recent work on dataset distillation and distributed one-shot learning, we propose Distilled One-Shot Federated Learning (DOSFL) to significantly reduce the communication cost while achieving comparable performance. In just one round, each client distills their private dataset, sends the synthetic data (e.g. images or sentences) to the server, and collectively trains a global model. The distilled data look like noise and are only useful to the specific model weights, i.e., become useless after the model updates. With this weight-less and gradient-less design, the total communication cost of DOSFL is up to three orders of magnitude less than FedAvg while preserving between 93% to 99% performance of a centralized counterpart. Afterwards, clients could switch to traditional methods such as FedAvg to finetune the last few percent to fit personalized local models with local datasets. Through comprehensive experiments, we show the accuracy and communication performance of DOSFL on both vision and language tasks with different models including CNN, LSTM, Transformer, etc. We demonstrate that an eavesdropping attacker cannot properly train a good model using the leaked distilled data, without knowing the initial model weights. DOSFL serves as an inexpensive method to quickly converge on a performant pre-trained model with less than 0.1% communication cost of traditional methods.

연구 동기 및 목표

• 연합학습에서 정확도를 희생하지 않으면서 통신 횟수와 전송 데이터를 줄인다.
• 데이터세트 증류를 활용해 단 한 라운드에서 전역 모델을 학습시키는 합성 데이터를 생성한다.
• Soft labels, soft resets, random masking을 사용해 비IID 데이터의 도전을 해결한다.
• 비전과 언어 과제 및 다양한 모델 유형 전반에 걸친 DOSFL의 적용 가능성을 입증한다.

제안 방법

• 서버가 글로벌 모델 θ0를 초기화하고 이를 클라이언트에 브로드캐스트한다.
• 각 클라이언트는 비공개 데이터를 연관된 레이블과 학습률을 갖춘 작은 합성 데이터세트로 증류한다.
• 모든 클라이언트의 증류 데이터가 서버에서 합치고, 합성 시퀀스에 대한 다중 기울기 단계로 글로벌 모델을 업데이트하는 데 사용한다.
• Soft labels를 사용해 비 IID 데이터에서 로버스트니스를 개선한다.
• 비 IID 증류 데이터의 간섭을 완화하기 위해 두 가지 기법—soft reset과 random masking—을 도입한다.
• 최종 모델을 클라이언트에 재배포하여 선택적으로 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 가중치나 그래디언트 대신 증류 데이터를 전송하여 연합학습에서 극단적으로 적은 통신으로 달성할 수 있는가?
• RQ2 Soft labels, soft resets, random masking이 IID 및 non-IID 데이터에서 비전 및 언어 과제에 걸친 성능에 어떤 영향을 미치는가?
• RQ3 다양한 모델 유형에 걸쳐 단 한 번의 증류 데이터 학습이 중앙 집중식 학습을 어느 정도까지 근접시킬 수 있는가?
• RQ4 증류 데이터 접근법이 도청 및 초기 가중치 불확실성에 대해 견고한가?

주요 결과

• DOSFL은 FedAvg에 비해 최대 약 1000배의 통신 감소를 달성합니다.
• IID 데이터에서 DOSFL은 태스크 전반에 걸쳐 중앙 집중식 학습 성능의 93%–99%를 유지합니다.
• 비 IID 데이터에서 soft resets가 제시된 기법들 중 가장 큰 이득을 가져와 로버스트니스를 상당히 향상시킵니다.
• DOSFL은 CNN, LSTM, Transformer 등 다양한 모델 유형과 비전/언어 과제를 중앙 집중식 기준선과 유사한 정확도로 지원합니다.
• 도청자가 초기 서버 가중치에 대한 지식 없이 누출된 증류 데이터를 사용해 글로벌 모델을 재생성할 수 없으므로 전통적 FL에 비해 프라이버시 이점이 있습니다.