[논문 리뷰] Wireless Ad Hoc Federated Learning: A Fully Distributed Cooperative Machine Learning

Hideya Ochiai, Yuwei Sun외 3명|arXiv (Cornell University)|2022. 05. 24.

Privacy-Preserving Technologies in Data인용 수 20

한 줄 요약

WAFL은 중앙 서버 없이 인근 노드 간의 완전 분산 모델 교환 및 집계를 가능하게 하여, encounter 기반 협력을 통해 매우 Non-IID 데이터에서 일반화된 모델을 달성합니다.

ABSTRACT

Privacy-sensitive data is stored in autonomous vehicles, smart devices, or sensor nodes that can move around with making opportunistic contact with each other. Federation among such nodes was mainly discussed in the context of federated learning with a centralized mechanism in many works. However, because of multi-vendor issues, those nodes do not want to rely on a specific server operated by a third party for this purpose. In this paper, we propose a wireless ad hoc federated learning (WAFL) -- a fully distributed cooperative machine learning organized by the nodes physically nearby. WAFL can develop generalized models from Non-IID datasets stored in distributed nodes locally by exchanging and aggregating them with each other over opportunistic node-to-node contacts. In our benchmark-based evaluation with various opportunistic networks, WAFL has achieved higher accuracy of 94.8-96.3% than the self-training case of 84.7%. All our evaluation results show that WAFL can train and converge the model parameters from highly-partitioned Non-IID datasets over opportunistic networks without any centralized mechanisms.

연구 동기 및 목표

• 다중 벤더의 모바일 노드 간에 중앙 서버 없이 프라이버시를 보장하는 학습을 동기부여합니다.
• WAFL을 완전 분산 협력 학습 패러다임으로 제안합니다.
• WAFL이 기회적 만남을 통해 매우 비 IID 데이터에서 일반화된 모델로 수렴할 수 있음을 보여줍니다.
• 모델 교환 및 집계 인터페이스에 대한 이론적이고 실용적인 프레임워크를 제공합니다.
• MNIST 데이터를 사용하여 정적 및 동적 이동 패턴에서 WAFL을 평가합니다.

제안 방법

• 노드가 개인 데이터로 로컬 학습을 수행하고 만남 시 학습된 모델 매개변수를 교환합니다.
• 모델 집계는 theta_me' = theta_me + lambda * sum(theta_k - theta_me) / (|nbr(n)| + 1) 입니다.
• 집계 후 각 노드는 자신의 데이터에 대해 SGD 유사 단계로 로컬 미니배치 업데이트를 수행합니다(Eq. 4).
• WAFL 교환 전에 로컬에서 사전 훈련하여 초기 정확도를 높입니다(Eq. 6).
• 매개변수 업데이트 다이내믹스에 대한 논의는 가상으로 병합된 데이터셋의 손실을 최소화하는 방향으로 수렴하는 것을 보여줍니다(Eq. 10).
• Ad hoc 교환 인터페이스로는 Wi‑Fi ad hoc 모드 또는 모델 매개변수 배포를 위한 UDP 멀티캐스트를 가진 블루투스를 사용할 수 있습니다.

실험 결과

연구 질문

• RQ1 중앙 집권화된 서버 없이 완전 분산 애드혹 네트워크에서 WAFL이 매우 비 IID 데이터로부터 일반화된 모델을 달성할 수 있는가?
• RQ2 다양한 이동 패턴과 네트워크 토폴로지가 WAFL의 수렴 및 정확도에 어떤 영향을 미치는가?
• RQ3 로컬 학습과 노드 간 학습 간의 균형을 맞추기 위한 적절한 집계 계수 및 학습 일정은 무엇인가?
• RQ4 이 설정에서 WAFL은 서버가 있는 자체 학습 및 IPLS와 어떻게 비교되는가?

주요 결과

• WAFL은 다양한 정적/동적 접촉 패턴에서 약 96% 내외의 정확도를 달성하며, 자체 학습 및 IPLS 기준선보다 우수합니다.
• WAFL은 중앙 집중형 연합 없이도 가상으로 병합된 데이터셋의 손실 최소화 방향으로 모델 매개변수를 수렴시킬 수 있습니다.
• lambda를 (0,1]로 설정한 집계는 지역 업데이트를 보존하면서 이웃 모델로의 편향을 효과적으로 줄여줍니다.
• 다양한 네트워크 토폴로지(static_line, static_tree, static_ringstar, static_dense)와 이동 패턴(RWP, CSE)에서 성능이 견고합니다.
• 90% 비 IID MNIST 데이터에서도 WAFL은 여러 구성에서 경쟁력 있는 정확도를 달성하며 여러 설정에서 연합학습과 거의 일치합니다.