[논문 리뷰] Preservation of the Global Knowledge by Not-True Distillation in Federated Learning

Gihun Lee, Minchan Jeong외 3명|arXiv (Cornell University)|2021. 06. 06.

Privacy-Preserving Technologies in Data인용 수 44

한 줄 요약

논문은 데이터 이질성으로 인한 망각을 연합 학습의 병목으로 식별하고, not-true distillation을 로컬 데이터에서 수행하는 FedNTD를 제안하여 글로벌 지식을 보존하며, 추가 커뮤니케이션이나 프라이버시 손실 없이 최첨단 성과를 달성한다.

ABSTRACT

In federated learning, a strong global model is collaboratively learned by aggregating clients' locally trained models. Although this precludes the need to access clients' data directly, the global model's convergence often suffers from data heterogeneity. This study starts from an analogy to continual learning and suggests that forgetting could be the bottleneck of federated learning. We observe that the global model forgets the knowledge from previous rounds, and the local training induces forgetting the knowledge outside of the local distribution. Based on our findings, we hypothesize that tackling down forgetting will relieve the data heterogeneity problem. To this end, we propose a novel and effective algorithm, Federated Not-True Distillation (FedNTD), which preserves the global perspective on locally available data only for the not-true classes. In the experiments, FedNTD shows state-of-the-art performance on various setups without compromising data privacy or incurring additional communication costs.

연구 동기 및 목표

• 비IID 데이터로 인한 망각이 연합 학습에서 발생하는지와 데이터 이질성과의 관계를 조사한다.
• 연합 학습 중 로컬 지식과 글로벌 지식의 변화가 어떻게 나타나는지 특성화한다.
• 프라이버시나 통신 효율성을 해치지 않으면서 로컬 업데이트 동안 글로벌 지식을 보존하는 방법을 개발한다.
• 제안된 방법의 효능에 대한 이론적 및 실험적 지지를 제공한다.

제안 방법

• 라운드 간 글로벌 모델 예측 일관성을 분석하여 망각과 비IID 데이터 간의 관계를 연결한다.
• 로컬 외 분포에서의 지식을 보존하기 위해 not-true distillation 손실을 추가하는 FedNTD를 도입한다.
• L_NTD를 온도 τ를 갖는 로컬 모델과 글로벌 모델의 not-true 클래스 예측 간의 KL-발산(= KL-divergence)으로 정의한다(오직 not-true 클래스에 한해).
• 로컬 학습 목표에서 트레이드오프 매개변수 β를 통해 표준 교차 엔트로피와 L_NTD를 결합한다.
• FedNTD 학습, 집계 및 업데이트를 상세히 다루는 알고리즘 1을 제공한다.
• 아웃-로컬 지식 보존을 그래디언트 정렬(일치) 및 가중치 안정성과 연결하는 이론적 명제를 제시한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 데이터 이질성으로 인해 연합 학습이 글로벌 지식의 망각을 보이는가?
• RQ2 로컬 학습 중 글로벌 모델의 not-true 클래스 지식을 보존하는 것이 이 망각을 완화할 수 있는가?
• RQ3 FedNTD가 로컬 모델과 글로벌 모델 간의 그래디언트 다양성, 가중치 정렬, 가중치 발산에 어떤 영향을 미치는가?
• RQ4 비IID 조건에서 성능을 향상시키면서 FedNTD가 데이터 프라이버시를 유지하고 추가 커뮤니케이션 비용을 피하는가?
• RQ5 일반 벤치마크와 분할 전략 전반에서 FedNTD가 달성하는 실증적 이득은 무엇인가?

주요 결과

• 비IID 데이터 하에서 글로벌 모델에서 망각이 발생하고, 클래스별 정확도는 라운드 간에 일관되지 않으며 이질성이 커질수록 망각이 더 발생한다.
• FedNTD를 통한 not-true 클래스 지식 보존은 망각을 감소시키고 MNIST, CIFAR-10, CIFAR-100, CINIC-10에서 다양한 NIID 설정에서 최첨단 정확도를 달성한다.
• FedNTD는 글로벌 모델과 로컬 모델 간의 가중치 정렬을 개선하고 가중치 발산을 감소시켜 더 안정적인 연합 최적화에 기여한다.
• 이 방법은 추가 커뮤니케이션이나 데이터 공유가 필요 없고 프라이버시를 보존한다.
• FedNTD는 다양한 데이터 이질성 시나리오에서 여러 베이스라인(FedAvg, FedCurv, FedProx, FedNova, SCAFFOLD, MOON)을 지속적으로 능가한다.