[논문 리뷰] Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation

Zhiyuan Wu, Sheng Sun외 6명|arXiv (Cornell University)|2022. 04. 14.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비프록시 데이터 기반의 페더레이티드 디스틸레이션 프레임워크인 FedDKC를 제안한다. 이는 커널 기반(KKR) 및 검색 기반(SKR) 전략을 사용하여 이질적인 클라이언트 간의 분산 지식 일치를 강제함으로써, 추가적인 통신 오버헤드 없이도 정확도를 크게 향상시키고 수렴 속도를 빠르게 한다. 이는 이질적 환경에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Federated learning (FL) is a privacy-preserving machine learning paradigm in which the server periodically aggregates local model parameters from clients without assembling their private data. Constrained communication and personalization requirements pose severe challenges to FL. Federated distillation (FD) is proposed to simultaneously address the above two problems, which exchanges knowledge between the server and clients, supporting heterogeneous local models while significantly reducing communication overhead. However, most existing FD methods require a proxy dataset, which is often unavailable in reality. A few recent proxy-data-free FD approaches can eliminate the need for additional public data, but suffer from remarkable discrepancy among local knowledge due to client-side model heterogeneity, leading to ambiguous representation on the server and inevitable accuracy degradation. To tackle this issue, we propose a proxy-data-free FD algorithm based on distributed knowledge congruence (FedDKC). FedDKC leverages well-designed refinement strategies to narrow local knowledge differences into an acceptable upper bound, so as to mitigate the negative effects of knowledge incongruence. Specifically, from perspectives of peak probability and Shannon entropy of local knowledge, we design kernel-based knowledge refinement (KKR) and searching-based knowledge refinement (SKR) respectively, and theoretically guarantee that the refined-local knowledge can satisfy an approximately-similar distribution and be regarded as congruent. Extensive experiments conducted on three common datasets demonstrate that our proposed FedDKC significantly outperforms the state-of-the-art on various heterogeneous settings while evidently improving the convergence speed.

연구 동기 및 목표

• 클라이언트 측 모델 이질성으로 인한 비프록시 데이터 기반 페더레이티드 디스틸레이션에서의 지식 불일치 문제를 해결한다.
• 외부 프록시 데이터셋에 의존하지 않으면서도 낮은 통신 오버헤드를 유지한다.
• 이질적 페더레이티드 러닝 환경에서 모델 정확도와 수렴 속도를 향상시킨다.
• 클라이언트 간에 개선된 국소 지식이 유사하고 일치하는 분포를 가지도록 보장한다.
• 서버 측에서 계산적으로 실현 가능한 효율적인 개선 메커니즘을 설계한다.

제안 방법

• 프록시 데이터셋이 필요 없이 분산 지식 일치를 강제하는 비프록시 데이터 기반의 페더레이티드 디스틸레이션 프레임워크인 FedDKC를 제안한다.
• 정규화된 국소 지식 분포의 피크 확률을 일치시키기 위해 커널 기반 지식 개선(KKR)을 도입한다.
• 국소 지식의 샤논 엔트로피를 균형 있게 조절하여 분포 유사성을 증진시키기 위해 검색 기반 지식 개선(SKR)을 설계한다.
• 이론적 분석을 통해 개선된 지식이 약간 유사한 분포를 만족함을 보장하여 일치하는 디스틸레이션을 가능하게 한다.
• 글로벌 디스틸레이션 과정에서 서버 측에서 KKR과 SKR을 적용하여 클라이언트 지식을 개선한 후 집계한다.
• 모델 파라미터 교환을 피하고 지식 전달에만 의존함으로써 통신 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 비프록시 데이터 기반의 페더레이티드 디스틸레이션에서 이질적인 클라이언트 간에 지식 일치를 어떻게 강제할 수 있는가?
• RQ2 추가적인 통신 오버헤드 없이 지식 간 격차를 효과적으로 줄일 수 있는 메커니즘은 무엇인가?
• RQ3 국소 지식의 피크 확률과 샤논 엔트로피를 개선하면 디스틸레이션의 안정성과 모델 정확도가 향상되는가?
• RQ4 KKR와 SKR는 지식 일치를 달성하는 데 있어 정확도와 유연성 측면에서 어떻게 비교되는가?
• RQ5 FedDKC는 이질적 FL 환경에서 기존의 비프록시 데이터 기반 FD 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• FedDKC는 다양한 이질적 환경에서 세 가지 일반적인 데이터셋에서 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 KKR 및 SKR 개선 전략은 국소 지식 분포의 피크 확률과 샤논 엔트로피를 일치시킴으로써 지식 격차를 효과적으로 줄였다.
• 실험 결과, FedDKC는 모델 파라미터 교환 없이도 수렴 속도를 향상시키며 낮은 통신 오버헤드를 유지함을 입증했다.
• 실증 평가에서 KKR는 더 높은 정확도를 달성했고, SKR는 목표 지식 분포를 설정하는 데 더 큰 영향력을 발휘했다.
• 서버 측에서 KKR 및 SKR가 유발하는 추가적인 계산 비용은 글로벌 디스틸레이션 과정에 비해 감당 가능하고 무시할 만큼 낮다.
• FedDKC는 분산 지식 일치를 통해 비프록시 데이터 기반 FD에서 높은 정확도와 통신 효율성을 동시에 달성한 최초의 프레임워크이다.