[논문 리뷰] FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks

Gao, Lingzhi, Zhang, Zhenyuan외 1명|arXiv (Cornell University)|2022. 01. 10.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

FedDTG는 모델 파rameter나 프록시 데이터셋을 공유하지 않고도 프라이버시를 보장하는 지식 정련을 가능하게 하는 데이터 프리 페더레이티드 디스틸레이션 프레임워크를 제안한다. 삼자생성대립신경망(GAN)을 활용하여 글로벌 생성기와 클라이언트 간의 상호 정련을 동시에 수행함으로써 수렴 속도 향상, 비아이디어(Non-i.i.d.) 데이터 하에서의 강건성 향상, 정확도 안정성 향상을 달성하였으며, MNIST에서 극단적인 데이터 이질성 조건에서도 클라이언트가 최대 94.97%의 테스트 정확도를 달성하였다.

ABSTRACT

While existing federated learning approaches primarily focus on aggregating local models to construct a global model, in realistic settings, some clients may be reluctant to share their private models due to the inclusion of privacy-sensitive information. Knowledge distillation, which can extract model knowledge without accessing model parameters, is well-suited for this federated scenario. However, most distillation methods in federated learning (federated distillation) require a proxy dataset, which is difficult to obtain in the real world. Therefore, in this paper, we introduce a distributed three-player Generative Adversarial Network (GAN) to implement data-free mutual distillation and propose an effective method called FedDTG. We confirmed that the fake samples generated by GAN can make federated distillation more efficient and robust. Additionally, the distillation process between clients can deliver good individual client performance while simultaneously acquiring global knowledge and protecting data privacy. Our extensive experiments on benchmark vision datasets demonstrate that our method outperforms other federated distillation algorithms in terms of generalization.

연구 동기 및 목표

• 클라이언트가 프라이버시 우려로 인해 개인 모델 파rameter를 공유하지 않는 페더레이티드 러닝 문제를 해결하기 위해.
• 기존 페더레이티드 디스틸레이션 방법에서 의존하는 프록시 데이터셋이 실제 환경에서는 자주 확보가 어려운 데서 비롯된 문제를 해결하기 위해.
• 비아이디어 데이터 분포 하에서 페더레이티드 러닝의 강건성과 수렴 속도를 향상시키기 위해.
• 동일한 모델 아키텍처가 필요하지 않은 조건에서도 클라이언트 간 효과적인 지식 정련을 가능하게 하기 위해.
• 로컬 데이터를 보완하고 개인화 및 안정성을 향상시키기 위한 글로벌 생성 모델을 개발하기 위해.

제안 방법

• 세 명의 플레이어로 구성된 삼자 GAN 아키텍처를 도입하여 글로벌 생성기, 클라이언트별 디스criminator, 클라이언트별 스터디언트 모델를 포함한다.
• 글로벌 생성기가 생성한 합성 데이터는 로컬 학습을 정규화하고 클라이언트 간 상호 정련을 지원한다.
• 글로벌 생성기의 출력에서 유도된 소프트 레이블을 사용하여 클라이언트 모델 간 상호 정련을 수행함으로써 모델 파arameter 교환 없이 지식 공유를 가능하게 한다.
• 통합된 학습 루프 내에서 로컬 개인화, 상호 정련, GAN 학습을 동시에 최적화한다.
• 글로벌 생성기는 글로벌 데이터 분포와 일치하는 현실적인 합성 샘플을 생성하도록 훈련되어 일반화 성능을 향상시킨다.
• 모델 파arameter 공유나 프록시 데이터셋이 필요 없어 프라이버시를 보장하는 지식 이동이 가능하다.

실험 결과

연구 질문

• RQ1 프록시 데이터셋이나 모델 파arameter 공유에 의존하지 않는 데이터 프리 페더레이티드 디스틸레이션 접근법이 높은 성능을 달성할 수 있는가?
• RQ2 공유된 글로벌 생성기를 통해 클라이언트 간 상호 정련이 이루어질 경우, 비아이디어 데이터 하에서 수렴성과 강건성이 어떻게 향상되는가?
• RQ3 글로벌 생성기가 생성한 합성 데이터가 로컬 모델 학습에 얼마나 기여하며, 클라이언트 간 정확도 변동성을 얼마나 줄이는가?
• RQ4 극도로 불균형한 데이터 분포를 가진 클라이언트들 사이에서도 FedDTG가 뛰어난 성능을 유지할 수 있는가?
• RQ5 제안된 방법이 재학습 없이 다양한 모델 아키텍처와 작업에 일반화 가능한가?

주요 결과

• FedDTG는 극단적인 비아이디어 설정(α=0.05, r=25%)에서 MNIST에서 94.97%의 테스트 정확도를 달성하여 FedAvg와 FedGen을 크게 앞섰다.
• FedDTG에서 성능이 가장 열악한 클라이언트도 로컬 테스트 세트에서 92.15%의 정확도를 기록하여 클라이언트 간 성능 변동성이 크게 감소하고 강건성이 뛰어나다는 것을 입증하였다.
• 매우 불균형한 설정(예: 각 클라이언트가 하나의 클래스만 가짐 또는 극도로 불균형한 샘플 분포)에서 FedDTG는 학습 중에 최소한의 변동성을 보이며 가장 안정적인 학습 곡선을 보였다.
• 아블레이션 연구 결과, 글로벌 생성기와 상호 정련 모두 필수적임을 확인하였다: 둘 중 하나를 제거하면 성능이 2% 이상 감소하였으며, 상호 정련만 존재할 경우 92.33%, 글로벌 생성기만 존재할 경우 93.78%의 정확도를 기록하였다.
• FedDTG는 클라이언트 간 정확도 격차를 줄이고 수렴 속도를 향상시켰으며, 특히 높은 데이터 이질성 조건에서 FedGen과 FedDF를 대부분의 설정에서 능가하였다.
• 글로벌 생성기가 생성한 합성 샘플은 다른 페더레이티드 디스틸레이션 알고리즘에 프록시 데이터셋으로 재사용 가능하여 재사용성과 일반화 능력을 입증하였다.