[논문 리뷰] Byzantine-Robust Decentralized Learning via ClippedGossip

Lie He, Sai Praneeth Karimireddy외 1명|arXiv (Cornell University)|2022. 02. 03.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 임의의 통신 그래프에서 비볼티지안에 강건한 분산 학습 알고리즘인 ClippedGossip를 제안한다. 이 알고리즘은 비볼티지안 목표 함수에 대해 표준 가정 하에 정적 점의 $\mathcal{O}(\delta_{\max}\zeta^{2}/\gamma^{2})$ 이내로 증명 가능한 수렴성을 확보한다. 국소 클리핑과 고갈 평균화를 결합하여 악성 워커에 대응하면서도, 악성 조건 하에서도 빠른 수렴 속도를 유지한다.

ABSTRACT

In this paper, we study the challenging task of Byzantine-robust decentralized training on arbitrary communication graphs. Unlike federated learning where workers communicate through a server, workers in the decentralized environment can only talk to their neighbors, making it harder to reach consensus and benefit from collaborative training. To address these issues, we propose a ClippedGossip algorithm for Byzantine-robust consensus and optimization, which is the first to provably converge to a $O(δ_{\max}ζ^2/γ^2)$ neighborhood of the stationary point for non-convex objectives under standard assumptions. Finally, we demonstrate the encouraging empirical performance of ClippedGossip under a large number of attacks.

연구 동기 및 목표

• 워커가 이웃과만 통신하고 중앙 서버가 존재하지 않는 임의의 통신 그래프에서 비볼티지안에 강건한 분산 학습을 해결하기 위한 것이다.
• 이전 방법들이 밀도 높은 연결성을 요구하거나 수렴 보장을 갖지 못하거나 네트워크에 신뢰할 수 있는 다수의 정상 워커가 존재한다고 가정한다는 한계를 극복하기 위한 것이다.
• 스펙트럼 간격 $\gamma$와 비볼티지안 워커 수 $\delta_{\max}$를 기반으로 한 새로운 네트워크 강건성 기준을 제안하여 보다 광범위한 그래프 구조에 적용 가능하게 하기 위한 것이다.
• 기본 가정 하에 비볼티지안 비결정적 분산 최적화에 대해 처음으로 증명 가능한 수렴 속도를 확보하기 위한 것이다.
• 국소 모멘타임을 통합하여 비강건한 분산 SGD의 수렴 속도를 향상시키기 위한 것이다.

제안 방법

• ClippedGossip는 반복마다 세 단계로 구성된다: (1) 워커들이 이웃의 모델을 수확하고, (2) 자신의 모델을 중심으로 반경 $\tau_i^{t+1}$ 이내로 이웃 모델을 클리핑하여 외곽치의 영향을 제한하고, (3) 클리핑된 모델들에 대해 고갈 평균화를 수행한다.
• 클리핑 단계는 임의로 큰 값일 수 있는 비볼티지안 업데이트가 제한되어 수렴 과정을 지배하지 못하도록 보장한다.
• 이 방법은 고갈 평균화 과정을 정의하기 위해 혼합 행렬을 사용하여 정보가 네트워크 전반에 퍼지면서도 강건성을 유지한다.
• 스펙트럼 간격 $\gamma$와 최대 비볼티지안 워커 수 $\delta_{\max}$ 간의 관계를 기반으로 한 새로운 네트워크 강건성 기준이 도입된다.
• 전역적인 정상 다수나 보안 브로드캐스트가 필요로 하지 않도록 설계되어 실제 분산 시스템에 적합하다.
• 비강건한 환경에서 더 빠른 수렴 속도를 확보하기 위해 국소 모멘타임이 통합되어 이전 최첨단 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 임의의 통신 그래프에서 비볼티지안 공격 하에서도 증명 가능한 수렴성을 확보하는 분산 학습 알고리즘을 설계할 수 있는가?
• RQ2 통신 그래프의 스펙트럼 간격 $\gamma$와 비볼티지안 워커 수 $\delta_{\max}$가 함께 분산 학습의 강건성과 수렴에 어떤 영향을 미치는가?
• RQ3 국소 모멘타임을 통합함으로써 비강건한 분산 SGD의 수렴 속도를 향상시킬 수 있는가?
• RQ4 실제 공격 모델 하에서 기존 방법과 비교해 ClippedGossip의 수렴 속도와 강건성은 어떻게 다른가?
• RQ5 비볼티지안 워커가 정보 흐름을 방해하기 위해 전략적으로 배치되어도 알고리즘이 여전히 수렴을 유지할 수 있는가?

주요 결과

• ClippedGossip는 표준 가정 하에 비볼티지안 목표 함수에 대해 정적 점의 $\mathcal{O}(\delta_{\max}\zeta^{2}/\gamma^{2})$ 이내로 증명 가능한 수렴성을 확보한다.
• 이 방법은 스펙트럼 간격 $\gamma$와 $\delta_{\max}$를 기반으로 한 새로운 강건성 기준을 도입하여 이전 연구들이 밀도 높은 연결성이나 정상 다수를 요구했던 것보다 더 넓은 그래프 클래스에 적용 가능하다.
• ClippedGossip는 특히 정상 워커 간의 이견을 극대화하는 비일관성 공격 상황에서 기존 방법보다 수렴 속도와 강건성 면에서 뛰어나다.
• 강력한 비볼티지안 공격 조건 하에서도 알고리즘이 여전히 빠른 수렴 속도를 유지한다. 이는 네트워크 구조나 기울기 분산을 악용하는 공격에도 강건하다.
• 논문은 비강건한 분산 비결정적 비볼티지안 최적화에 대해 알려진 바 중 가장 빠른 수렴 속도를 확립한다: 국소 모멘타임을 사용한 $\mathcal{O}(\frac{\sigma^{2}}{n\varepsilon^{2}} + \frac{\sigma^{2/3}}{\gamma^{2/3}\varepsilon^{4/3}})$.
• 실험 결과 ClippedGossip는 비볼티지안 워커가 존재하는 상황에서도 신뢰성 있게 수렴하는 것으로 나타났으며, Dumbbell 같은 일반적인 그래프나 비IIDs 데이터 하에서 기존 방법인 TM이 공감에 도달하지 못하는 것을 확인했다.