[논문 리뷰] Decentralized federated learning of deep neural networks on non-iid data

Noa Onoszko, Gustav Karlsson외 2명|arXiv (Cornell University)|2021. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 27

한 줄 요약

본 논문은 Performance-Based Neighbor Selection (PENS)을 제시한다. 이는 비 iid 데이터에서 학습을 개선하기 위해 데이터 분포가 유사한 피어를 식별하는 완전한 분산 가십 기반 연합 학습 방법으로, 베이스라인 대비 개선을 보이고 옵티컬에 근접한다.

ABSTRACT

We tackle the non-convex problem of learning a personalized deep learning model in a decentralized setting. More specifically, we study decentralized federated learning, a peer-to-peer setting where data is distributed among many clients and where there is no central server to orchestrate the training. In real world scenarios, the data distributions are often heterogeneous between clients. Therefore, in this work we study the problem of how to efficiently learn a model in a peer-to-peer system with non-iid client data. We propose a method named Performance-Based Neighbor Selection (PENS) where clients with similar data distributions detect each other and cooperate by evaluating their training losses on each other's data to learn a model suitable for the local data distribution. Our experiments on benchmark datasets show that our proposed method is able to achieve higher accuracies as compared to strong baselines.

연구 동기 및 목표

• 비 iid 클라이언트 데이터를 가진 완전한 분산 연합 학습 설정에서 개인화된 심층 모델의 학습을 다룬다.
• 유사한 데이터 분포를 가진 피어를 식별하고 활용하기 위한 분산 알고리즘을 개발한다.
• 비 iid 데이터 벤치마크에서 제안된 방법의 성능을 베이스라인과 비교하여 평가한다.

제안 방법

• 중앙 서버 없이 피어 투 피어 통신을 위한 가십 프로토콜을 사용한다.
• PENS를 도입하여 먼저 각 클라이언트 모델의 손실을 다른 클라이언트의 데이터에서 평가해 유사한 데이터 분포를 가진 이웃을 T 라운드에 걸쳐 식별한다.
• 가장 낮은 손실을 기준으로 상위 성능 이웃을 선택하고 로컬 학습 전에 그들의 모델을 병합한다.
• 그다음 선택된 이웃 집합과 함께 분산 가십을 계속하여 모델을 정제한다.
• baseline 비교(Random Gossip, Local)와 완벽한 분포 정보를 가진 Oracle를 제공한다.
• 공변량 시프트를 이미지 회전으로 시뮬레이션한 CIFAR-10 및 Fashion-MNIST에서 CNN을 실험한다.

실험 결과

연구 질문

• RQ1 중앙 서버 없이 완전한 분산 가십 기반 접근 방식이 비 iid 데이터에서 높은 정확도를 달성할 수 있는가?
• RQ2 성능 기반 이웃 선택이 무작위 이웃 통신에 비해 분산 FL에서 학습을 개선하는가?
• RQ3 PENS가 각 클라이언트 간의 데이터 분포에 대한 완벽한 지식을 가진 Oracle에 얼마나 근접할 수 있는가?
• RQ4 공변량 시프트 하에서 Pens의 강건성 및 매개변수 민감도(n_sampled, m)은 어떠한가?

주요 결과

• Pens가 무작위 가십 및 로컬 학습 기반 비교 대비 우수한 성능을 보인다. CIFAR-10 및 Fashion-MNIST에서 비 iid 회전에 대해.
• 충분한 로컬 데이터를 가지면 Pens는 분포 지식을 완벽히 가진 Oracle에 근접한 정확도를 달성한다.
• Pens는 n_sampled와 m의 변동에 대한 강건성을 보이며, 다만 n_sampled/m 비율은 소수 피어 부분집합으로 축소되는 것을 피하기 위해 균형을 유지해야 한다.
• 회전된 분포가 두 가지 또는 네 가지인 CIFAR-10에서 Pens가 기준보다 정확도를 향상시킨다.
• Fashion-MNIST에서 Pens는 각 클라이언트당 100 및 500개의 학습 샘플에서도 일관되게 베이스라인을 능가한다.
• 비 iid 공변량 시프트 하에서도 D_i(x)는 다르지만 D_i(y|x)는 동일한 상황에서 이 접근법이 작동한다.