[논문 리뷰] Decentralized Federated Learning with Unreliable Communications

Hao Ye, Le Liang외 1명|arXiv (Cornell University)|2021. 08. 05.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 신뢰할 수 없는 통신 네트워크에서의 분산 학습을 위한 강건한 비중앙집중형 확률적 경사 하강법인 Soft-DSGD를 제안한다. 부분적으로 수신된 메시지를 사용하여 모델을 업데이트하고, 링크 신뢰도에 기반해 혼합 가중치를 최적화함으로써, 패킷 손실이 발생하더라도 중앙집중형 SGD와 동일한 渐진 수렴 속도를 달성하여, 중앙 서버 없이도 효율적이고 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Decentralized federated learning, inherited from decentralized learning, enables the edge devices to collaborate on model training in a peer-to-peer manner without the assistance of a server. However, existing decentralized learning frameworks usually assume perfect communication among devices, where they can reliably exchange messages, e.g., gradients or parameters. But the real-world communication networks are prone to packet loss and transmission errors. Transmission reliability comes with a price. The commonly-used solution is to adopt a reliable transportation layer protocol, e.g., transmission control protocol (TCP), which however leads to significant communication overhead and reduces connectivity among devices that can be supported. For a communication network with a lightweight and unreliable communication protocol, user datagram protocol (UDP), we propose a robust decentralized stochastic gradient descent (SGD) approach, called Soft-DSGD, to address the unreliability issue. Soft-DSGD updates the model parameters with partially received messages and optimizes the mixing weights according to the link reliability matrix of communication links. We prove that the proposed decentralized training system, even with unreliable communications, can still achieve the same asymptotic convergence rate as vanilla decentralized SGD with perfect communications. Moreover, numerical results confirm the proposed approach can leverage all available unreliable communication links to speed up convergence.

연구 동기 및 목표

• 신뢰할 수 없는 통신 환경에서 패킷 손실과 전송 오류로 인해 수렴이 저해되는 비중앙집중형 연합 학습의 과제를 해결하기 위해.
• 높은 통신 오버헤드로 인해 확장성에 제약을 주는 신뢰성 있는 전송 프로토콜(예: TCP)에 의존하지 않도록 하기 위해.
• 실제의 신뢰할 수 없는 통신 조건(예: UDP 기반 네트워크)에서도 수렴 성능을 유지할 수 있는 비중앙집중형 학습 프레임워크를 설계하기 위해.
• 링크 신뢰도에 기반해 혼합 가중치를 동적으로 최적화하여 모델 집계의 강건성을 향상시키기 위해.
• 제안된 방법이 이상적인 통신 조건에서의 기존 비중앙집중형 SGD와 동일한 渐진 수렴 속도를 달성함을 증명하기 위해.

제안 방법

• 신뢰할 수 없는 통신 환경에서 부분적으로 수신된 메시지만을 사용하여 모델 파라미터를 업데이트하는 비중앙집중형 SGD의 변종인 Soft-DSGD를 제안한다.
• 피어 투 피어 통신 링크의 링크 신뢰도 행렬에 기반해 신뢰도 인식 혼합 가중치 최적화 전략을 도입한다.
• 각 장치가 로컬 업데이트를 수행하고, 신뢰할 수 없는 전송 계층(예: UDP)을 사용해 이웃 장치와 기울기를 교환하는 확률적 경사 하강 프레임워크를 사용한다.
• 손실되거나 지연된 메시지를 고려하기 위해 수신 성공 확률에 따라 기여도를 가중치화하는 공감 기반 집계 메커니즘을 구현한다.
• 확률적 메시지 손실 조건 하에서 이론적 수렴 경계를 유도하여, 이상적 통신 조건에서의 비중앙집중형 SGD와 동일한 수렴 속도를 보임을 보여준다.
• 오차 전파 행렬의 스펙트럼 반경을 최소화하기 위해 최적의 혼합 가중치를 계산하기 위한 볼록 최적화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 통신 링크가 신뢰할 수 없고 패킷 손실이 발생하는 조건에서 비중앙집중형 연합 학습이 수렴 성능을 유지할 수 있는가?
• RQ2 UDP와 같은 신뢰할 수 없는 전송 프로토콜을 사용할 경우, 신뢰성 있는 프로토콜과 비교해 비중앙집중형 SGD의 수렴 속도가 떨어지는가?
• RQ3 링크 신뢰도에 기반해 혼합 가중치를 적응적으로 최적화할 수 있는가? 이는 신뢰할 수 없는 네트워크에서 수렴 성능을 복원할 수 있는가?
• RQ4 부분적으로 수신된 메시지와 신뢰할 수 없는 링크 조건에서도 중심집중형 SGD와 동일한 渐진 수렴 속도를 달성할 수 있는가?
• RQ5 실제 네트워크 조건에서 기존의 비중앙집중형 학습 프레임워크와 비교해 제안된 방법이 수렴 속도와 강건성 측면에서 어떻게 확장되는가?

주요 결과

• Soft-DSGD는 신뢰할 수 없는 링크와 부분적 메시지 수신 조건에서도 이상적 통신 조건에서의 기존 비중앙집중형 SGD와 동일한 渐진 수렴 속도를 달성한다.
• Soft-DSGD의 수렴 속도는 O(1/√(NT)) + O(N/T)로 증명되었으며, 이는 중심집중형 SGD의 이론적 경계와 일치한다.
• 수치적 결과는 Soft-DSGD가 가용한 모든 신뢰할 수 없는 통신 링크를 활용하여 수렴 속도를 가속화함을 확인하였으며, 손실된 메시지를 기각하는 기존 방법보다 뛰어난 성능을 보였다.
• 강건한 혼합 가중치 최적화 덕분에 기울기 업데이트의 최대 3/8가 손실된 경우에도 수렴이 유지된다.
• 혼합 가중치 최적화는 볼록 최적화 문제이므로 안정적이고 효율적인 신뢰성 있는 집계 행렬 계산이 보장된다.
• 이 프레임워크는 통신 오버헤드를 줄이고 장치 간 연결성의 확장성을 향상시키기 때문에 경량 전송 프로토콜(예: UDP)과 호환된다.