[논문 리뷰] On the Importance and Applicability of Pre-Training for Federated Learning

Hong-You Chen, Cheng-Hao Tu외 3명|arXiv (Cornell University)|2022. 06. 23.

Privacy-Preserving Technologies in Data인용 수 10

한 줄 요약

이 논문은 플러그인 학습(federated learning, FL)에서 사전 학습의 영향을 조사하며, 특히 ImageNet 또는 합성 데이터에서 유도된 사전 학습 가중치로 전역 모델을 초기화할 경우, 비독립 동일 분포(non-IID) 조건 하에서도 FL 성능이 크게 향상됨을 보여준다. 사전 학습은 FL과 중심 집중 학습 간의 정확도 격차를 줄이고 전역 집계를 안정화시키며, 실제 데이터가 없더라도 효과적으로 기능함을 보이며, 프랙탈 쌍 유사도(Fractal Pair Similarity, FPS)와 같은 새로운 합성 데이터 생성 기법을 통해 가능하다.

ABSTRACT

Pre-training is prevalent in nowadays deep learning to improve the learned model's performance. However, in the literature on federated learning (FL), neural networks are mostly initialized with random weights. These attract our interest in conducting a systematic study to explore pre-training for FL. Across multiple visual recognition benchmarks, we found that pre-training can not only improve FL, but also close its accuracy gap to the counterpart centralized learning, especially in the challenging cases of non-IID clients' data. To make our findings applicable to situations where pre-trained models are not directly available, we explore pre-training with synthetic data or even with clients' data in a decentralized manner, and found that they can already improve FL notably. Interestingly, many of the techniques we explore are complementary to each other to further boost the performance, and we view this as a critical result toward scaling up deep FL for real-world applications. We conclude our paper with an attempt to understand the effect of pre-training on FL. We found that pre-training enables the learned global models under different clients' data conditions to converge to the same loss basin, and makes global aggregation in FL more stable. Nevertheless, pre-training seems to not alleviate local model drifting, a fundamental problem in FL under non-IID data.

연구 동기 및 목표

• 중앙 집중적 딥 러닝에서 널리 사용되는 사전 학습이 플러그인 학습(FL) 성능을 향상시키는지 조사하기.
• 실세계 FL에서 흔한 과도한 비독립 동일 분포(non-IID) 데이터 설정 하에서 사전 학습의 효과를 평가하기.
• 실제 데이터 사전 학습의 대안으로서, 합성 데이터 또는 클라이언트 데이터를 이용한 탈중앙화 사전 학습과 같은 방법 탐색하기.
• 사전 학습이 플러그인 학습 성능을 향상시키는 근본적 메커니즘, 특히 학습 동역학과 집계 안정성 측면에서 이해하기.
• 기존 플러그인 학습 기법(예: 고급 국소 및 전역 최적화 방법)과 사전 학습의 상호보완성 평가하기.

제안 방법

• CIFAR-10/100, Tiny-ImageNet, iNaturalist, Cityscapes 등 여러 시각 기반 벤치마크에서 FedAvg를 무작위 초기화 대비 사전 학습(예: ImageNet) 초기화로 체계적으로 비교한다.
• 프랙탈 기하학을 영감으로 삼은 프랙탈 쌍 유사도(Fractal Pair Similarity, FPS)라는 합성 데이터 생성 방법을 제안하여 실제 데이터 없이도 모델 사전 학습을 가능하게 한다.
• 이중 단계 플러그인 학습 파이프라인을 구현: 합성 데이터에서의 자기지도 사전 학습 → FL에서의 지도 미세 조정.
• 최적의 볼록 조합을 사용해 집계 안정성을 분석하고, 사전 학습 및 무작위 초기화 설정 간 비교를 수행한다.
• 국소 모델 이탈과 손실 곡면 수렴을 분석해 사전 학습이 학습 동역학에 미치는 영향을 이해하기 위해 분석 실험을 수행한다.
• 최신 플러그인 자기지도 학습(FedSSL) 기법과 사전 학습 가중치를 통합해 성능 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포(non-IID) 데이터 분포 하에서 사전 학습이 FedAvg 성능을 향상시키는가?
• RQ2 사전 학습은 플러그인 학습과 중심 집중 학습 간의 정확도 격차에 어떤 영향을 미치는가?
• RQ3 합성 데이터 생성(예: FPS)이 성능에 손상이 가지 않고 실제 데이터 사전 학습을 대체할 수 있는가?
• RQ4 사전 학습은 플러그인 학습에서 알려진 문제인 국소 모델 이탈을 완화하는가?
• RQ5 사전 학습은 플러그인 학습에서 전역 모델 집계의 안정성에 어떤 영향을 미치는가?

주요 결과

• 사전 학습은 모든 평가된 벤치마크에서 FedAvg 정확도를 일관되게 향상시키며, 더 도전적인 non-IID 설정에서 상대적 성과 향상이 더 크다.
• 사전 학습은 플러그인 학습과 중심 집중 학습 간의 정확도 격차를 크게 줄이며, Dirichlet non-IID 설정 하에서 CIFAR-10과 Tiny-ImageNet에서 가장 큰 향상이 관찰된다.
• 제안된 프랙탈 쌍 유사도(Fractal Pair Similarity, FPS) 방법은 효과적인 합성 데이터를 생성하여, 실제 데이터 접근 없이도 FedAvg 성능 향상을 가능하게 한다.
• 사전 학습은 국소 모델 이탈을 완화하지는 않지만, 전역 집계를 안정화시키며, 최적의 볼록 조합에서의 성과 향상과 낮은 손실 분산을 통해 이를 입증한다.
• 사전 학습은 서로 다른 클라이언트 데이터 분포 하에서도 전역 모델이 동일한 손실 골짜기로 수렴하도록 하여 일반화 능력과 안정성을 향상시킨다.
• 사전 학습은 고급 플러그인 학습 방법과 상호보완적이다: 사전 학습 가중치를 사용할 경우 성능 향상이 이루어지지만, 기존 방법의 FedAvg 대비 상대적 성능 향상은 감소함을 보이며, 이는 FedAvg가 사전 학습 가중치를 사용할 경우에도 강력함을 시사한다.