[논문 리뷰] Communication-Efficient Federated Distillation

Felix Sattler, Arturo Marbán외 2명|arXiv (Cornell University)|2020. 12. 01.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 13

한 줄 요약

이 논문은 소프트 레이블을 양자화하고 델타 코딩을 적용함으로써 통신 비용을 줄이는 통신 효율적인 프레임워크인 압축된 플러드러티드 디스틸레이션(CFD)을 제안한다. 이미지 및 언어 모델링 작업에서 플러드러티드 어워징(Federated Averaging) 대비 10,000배 이상, 표준 플러드러티드 디스틸레이션(Federated Distillation) 대비 100배 이상의 통신 감소를 달성한다.

ABSTRACT

Communication constraints are one of the major challenges preventing the wide-spread adoption of Federated Learning systems. Recently, Federated Distillation (FD), a new algorithmic paradigm for Federated Learning with fundamentally different communication properties, emerged. FD methods leverage ensemble distillation techniques and exchange model outputs, presented as soft labels on an unlabeled public data set, between the central server and the participating clients. While for conventional Federated Learning algorithms, like Federated Averaging (FA), communication scales with the size of the jointly trained model, in FD communication scales with the distillation data set size, resulting in advantageous communication properties, especially when large models are trained. In this work, we investigate FD from the perspective of communication efficiency by analyzing the effects of active distillation-data curation, soft-label quantization and delta-coding techniques. Based on the insights gathered from this analysis, we present Compressed Federated Distillation (CFD), an efficient Federated Distillation method. Extensive experiments on Federated image classification and language modeling problems demonstrate that our method can reduce the amount of communication necessary to achieve fixed performance targets by more than two orders of magnitude, when compared to FD and by more than four orders of magnitude when compared with FA.

연구 동기 및 목표

• 플러드러티드 러닝에서의 통신 병목 현상, 특히 대규모 모델과 자원이 제한된 클라이언트에 대해 해결한다.
• 기존 방법인 플러드러티드 어워징(FA)과 비교해 플러드러티드 디스틸레이션(FD)의 통신 효율성을 조사한다.
• 데이터 쿠리에이션, 소프트 레이블 양자화, 델타 코딩 기법을 통해 FD의 업스트림 및 다운스트림 통신을 줄인다.
• 모델 성능을 유지하면서 통신 비용을 극적으로 줄이는 새로운 압축 기법을 개발한다.
• 다양한 데이터 이질성 수준과 모델 아키텍처에서 제안된 방법의 강건성과 확장성을 입증한다.

제안 방법

• 공개 데이터셋에서 정보가 풍부한 샘플을 선택하기 위해 액티브 디스틸레이션-데이터 쿠리에이션을 적용하여 불필요한 통신을 줄인다.
• 업스트림 및 다운스트림 통신 모두에서 소프트 레이블 표현에 1비트 양자화를 구현하여 데이터 부피를 최소화한다.
• 이전 값과의 차이를 인코딩함으로써 소프트 레이블 업데이트를 압축하는 델타 코딩을 도입한다.
• 클라이언트 간 모델 일관성을 활용해 다운스트림 통신을 추가로 압축하기 위해 이중 디스틸레이션 기법을 제안한다.
• 양자화와 델타 코딩을 통합한 유일한 프레임워크인 압축된 플러드러티드 디스틸레이션(CFD)을 구성하여 고압축을 달성하면서 성능 저하를 최소화한다.
• 공개된 비라벨 데이터셋을 사용해 모델 파라미터 대신 교환되는 소프트 레이블을 생성함으로써 통신 비용을 모델 크기에서 분리한다.

실험 결과

연구 질문

• RQ1 플러드러티드 디스틸레이션의 통신 비용은 디스틸레이션 데이터셋 크기와 데이터 이질성에 따라 어떻게 변화하는가?
• RQ2 성능 저하 없이 소프트 레이블 양자화와 델타 코딩이 플러드러티드 디스틸레이션의 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 특히 비i.i.d. 데이터 조건에서 CFD의 업스트림 및 다운스트림 양방향 1비트 양자화가 성능에 미치는 영향은 무엇인가?
• RQ4 CFD는 통신 효율성과 수렴 속도 측면에서 플러드러티드 어워징과 표준 플러드러티드 디스틸레이션에 비해 어떻게 비교되는가?
• RQ5 제안된 압축 기법은 실제 플러드러티드 러닝 벤치마크에서 극단적인 통신 감소를 달성하면서도 모델 정확도를 유지할 수 있는가?

주요 결과

• 언어 모델링 작업에서 CFD는 플러드러티드 어워징 대비 누적 통신량을 최대 ×10,580배 줄여, 8,570MB에서 0.81MB로 감소시켰다.
• 이미지 분류 작업에서는 CFD가 표준 플러드러티드 디스틸레이션 대비 통신량을 100배 이상 감소시켰다.
• 비i.i.d. 데이터 설정에서도 업스트림 및 다운스트림 양방향 1비트 양자화가 목표 정확도에 도달하는 데 모델 성능을 유지한다.
• 델타 코딩 적용 또는 높은 데이터 이질성 조건에서 통신 비용은 약간 증가하지만, 전체적으로는 압축 성과가 여전히 뚜렷하다.
• CFD는 i.i.d. 및 비i.i.d. 데이터 이질성 수준 모두에서 강건하며, CNN 및 트랜스포머 모델 모두에서 일관된 성능과 통신 효율성을 보였다.
• 모델 파라미터 교환 없이도 상당한 통신 절감 효과를 달성하여, 대역폭이 제한되고 개인정보 보호가 중요한 환경에 적합하다.