[논문 리뷰] Meta Knowledge Condensation for Federated Learning

Ping Liu, Xin Yu외 1명|arXiv (Cornell University)|2022. 09. 29.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 전역 모델 훈련을 위한 현저히 압축된 메타 지식으로 국소 데이터를 압축하는 통신 효율적인 플랫폼 학습 프레임워크인 FedMK를 제안한다. 동적 가중치 할당과 메타 지식 공유를 통해 FedMK는 통신 비용을 감소시키고 최신 기술 수준의 성능을 달성한다—단 10회의 통신 라운드로 MNIST에서 정확도를 74.07%에서 92.95%로 향상시킨다.

ABSTRACT

Existing federated learning paradigms usually extensively exchange distributed models at a central solver to achieve a more powerful model. However, this would incur severe communication burden between a server and multiple clients especially when data distributions are heterogeneous. As a result, current federated learning methods often require a large number of communication rounds in training. Unlike existing paradigms, we introduce an alternative perspective to significantly decrease the communication cost in federate learning. In this work, we first introduce a meta knowledge representation method that extracts meta knowledge from distributed clients. The extracted meta knowledge encodes essential information that can be used to improve the current model. As the training progresses, the contributions of training samples to a federated model also vary. Thus, we introduce a dynamic weight assignment mechanism that enables samples to contribute adaptively to the current model update. Then, informative meta knowledge from all active clients is sent to the server for model update. Training a model on the combined meta knowledge without exposing original data among different clients can significantly mitigate the heterogeneity issues. Moreover, to further ameliorate data heterogeneity, we also exchange meta knowledge among clients as conditional initialization for local meta knowledge extraction. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method. Remarkably, our method outperforms the state-of-the-art by a large margin (from $74.07\%$ to $92.95\%$) on MNIST with a restricted communication budget (i.e. 10 rounds).

연구 동기 및 목표

• 클라이언트와 서버 간의 빈번한 모델 교환으로 인한 플랫폼 학습의 높은 통신 비용을 해결하기 위해.
• 원시 데이터를 공유하지 않고도 분산된 클라이언트 간의 데이터 이질성을 완화하기 위해.
• 고성능 전역 모델을 훈련하기 위해 필요한 통신 라운드 수를 줄이기 위해.
• 원시 데이터나 전체 모델 대신 압축되고 대표적인 지식만을 전송하는 개인정보 보호 방법을 개발하기 위해.
• 메타 지식을 활용한 조건부 초기화와 학습 가능한 제약 조건을 통해 훈련의 안정성과 수렴성을 향상시키기 위해.

제안 방법

• 이중 최적화 과정을 통해 국소 클라이언트 데이터를 매우 압축된 메타 지식으로 압축한다: 내부 루프는 모델을 업데이트하고, 외부 루프는 메타 지식을 최적화한다.
• 학습 손실에 기반해 샘플의 기여도를 동적으로 할당하여 모델 업데이트에 적응적으로 기여하도록 한다.
• 메타 지식 공유를 통해 메타 지식 최적화를 위한 조건부 초기화를 제공하고, 클라이언트 간 지식 공유를 향상시킨다.
• 업로드된 메타 지식과 메타 지식 분포를 모델링하는 학습 가능한 조건부 생성기로부터 생성된 합성 샘플을 기반으로 전역 모델을 훈련시킨다.
• 중앙 모델 훈련 중에 학습 가능한 제약 조건을 도입하여 안정성과 일반화 능력을 향상시킨다.
• 생성된 합성 데이터를 역사적 맥락으로 활용하여 원시 데이터에 대한 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 메타 지식 압축은 성능을 유지하면서도 플랫폼 학습에서 통신 오버헤드를 현저히 줄일 수 있는가?
• RQ2 데이터 이질성 하에서 동적 가중치 할당은 모델 수렴에 어떻게 기여하는가?
• RQ3 분산 환경에서 메타 지식 공유가 클라이언트 간 지식 전이에 얼마나 기여하는가?
• RQ4 압축된 메타 지식 기반 전역 모델은 제한된 통신 라운드 수에서 표준 평균화 방식으로 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ5 단 10회의 통신 라운드만 허용할 경우, 제안된 방법이 모델 정확도를 얼마나 효과적으로 유지하는가?

주요 결과

• FedMK는 단 10회의 통신 라운드로 MNIST에서 92.95%의 테스트 정확도를 달성하여 동일한 예산 하에서 이전 SOTA의 74.07%보다 뚜렷한 향상을 이룬다.
• FedMK의 통신 비용은 10라운드 기준 약 1600만 파라미터이며, 200라운드에서 42000만 파라미터를 소비하는 FedAvg 대비 26배의 통신 비용 절감을 보여준다.
• 시각화 및 개인정보 평가 결과, 메타 지식는 매우 압축되어 있고 의미적으로 은폐되어 있어 원시 데이터를 메타 지식에서 재구성하는 것은 불가능하다.
• 동적 가중치 할당과 메타 지식 공유의 조합은 특히 데이터 이질성 하에서 더 빠른 수렴과 더 나은 일반화를 이끌어낸다.
• 학습 가능한 조건부 생성기는 업로드된 메타 지식의 통계 분포를 모델링하는 합성 데이터를 제공함으로써 훈련 안정성을 향상시킨다.
• FedMK는 MNIST, SVHN, CIFAR10, CIFAR100 전반에서 모든 경쟁 방법을 능가하며, 특히 통신 예산이 제한된 환경에서 뛰어난 성능을 보인다.