[논문 리뷰] Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums

Sadegh Farhadkhani, Rachid Guerraoui외 3명|arXiv (Cornell University)|2022. 05. 24.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 서버에서의 내성 평균화와 워커에서의 분산 모멘텀을 사용하여 분산 SGD에서 최적의 바이진틴 저항성을 달성하는 통합 프레임워크인 RESAM(내성 모멘텀 평균화)을 소개한다. 표준 가정 하에서 유한 시간 수렴을 증명하며, 바이진틴 워커가 총 수의 절반 이하일 경우 임의의 집계 규칙이 내성 계수 $\lambda$를 갖는다면 수렴을 보장함을 보이며, 비표준 가정 없이 기존 방법 간의 직접 비교를 가능하게 한다.

ABSTRACT

Byzantine resilience emerged as a prominent topic within the distributed machine learning community. Essentially, the goal is to enhance distributed optimization algorithms, such as distributed SGD, in a way that guarantees convergence despite the presence of some misbehaving (a.k.a., {\em Byzantine}) workers. Although a myriad of techniques addressing the problem have been proposed, the field arguably rests on fragile foundations. These techniques are hard to prove correct and rely on assumptions that are (a) quite unrealistic, i.e., often violated in practice, and (b) heterogeneous, i.e., making it difficult to compare approaches. We present \emph{RESAM (RESilient Averaging of Momentums)}, a unified framework that makes it simple to establish optimal Byzantine resilience, relying only on standard machine learning assumptions. Our framework is mainly composed of two operators: \emph{resilient averaging} at the server and \emph{distributed momentum} at the workers. We prove a general theorem stating the convergence of distributed SGD under RESAM. Interestingly, demonstrating and comparing the convergence of many existing techniques become direct corollaries of our theorem, without resorting to stringent assumptions. We also present an empirical evaluation of the practical relevance of RESAM.

연구 동기 및 목표

• 비현실적이거나 이질적인 가정에 의존하는 기존 바이진틴 저항성 기반 기계학습 방법의 취약성을 해결한다.
• 최소한의 표준 가정을 기반으로 한 분산 SGD에서의 바이진틴 저항성 분석을 위한 통합 이론적 프레임워크를 구축한다.
• 내성 평균화와 분산 모멘텀이 함께 작용할 경우, 최대 절반의 워커가 바이진틴일 경우에도 최적의 수렴을 달성할 수 있음을 입증한다.
• 다양한 기존 집계 규칙의 분석을 통합하는 일반 수렴 정리를 제공한다.
• 공통의 내성 계수 $\lambda$를 통해 기존 바이진틴 저항성 방법 간의 공정하고 이론 기반 비교를 가능하게 한다.

제안 방법

• 집계 규칙의 새로운 강건성 기준으로 내성 평균화를 도입하며, 내성 계수 $\lambda$로 정량화한다.
• 워커가 원시 기울기 대신 기울기 모멘텀을 서버로 전송하는 분산 모멘텀을 제안한다.
• 비독립적이고 비표준적인 기울기 행동으로 인한 과제를 극복하기 위해 새로운 리아푸노프 함수를 개발한다.
• 정상 워커의 모멘텀 수렴을 이용해 내성 평균화 하에서 바이진틴 영향을 완화한다.
• 표준 가정 하에서 유효한 분산 SGD에 대한 일반 수렴 정리를 RESAM 프레임워크에 정식화한다: 편향 없는 기울기와 유한 분산, 일阶 리프시츠 스무쓰니스.
• 기존 기법들(예: Krum*, Median, CWTM)의 내성 저항성은 주요 정리의 따름정리로 확인되며, 비표준 가정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 비표준 또는 비현실적인 가정에 의존하지 않고도 분산 SGD에서 바이진틴 저항성을 증명할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 집계 규칙의 내성 계수 $\lambda$는 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ3 적대적 워커 존재 시 분산 모멘텀이 수렴성과 바이진틴 저항성에 얼마나 기여하는가?
• RQ4 기존 바이진틴 저항성 집계 규칙들이 RESAM의 동일한 이론적 기반을 통해 공식적으로 내성 저항성을 입증할 수 있는가?
• RQ5 모멘텀 하이퍼파rameter $\beta$는 다양한 공격 상황에서 내성 및 비내성 집계 규칙의 성능에 어떤 영향을 미치는가?

주요 결과

• RESAM은 편향 없는 기울기와 유한 분산, 일阶 리프시츠 스무쓰니스라는 표준 가정 하에서 분산 SGD의 유한 시간 수렴을 증명한다.
• 이 프레임워크는 내성 계수 $\lambda$를 갖는 임의의 집계 규칙이 바이진틴 워커가 총 수의 절반 이하일 경우 수렴을 보장함을 입증하며, 최적의 임계값을 달성한다.
• Krum*, Median, CWTM, GM 등 기존 기법들이 일반 수렴 정리의 직접 따름정리로 내성 저항성을 입증하며, 서브-가우시안 또는 유한 기울기 가정이 필요하지 않다.
• 실험 결과, 내성 평균화와 모멘텀을 함께 사용할 경우 모든 공격 유형(에이머피어, 리틀, 기울기 반전, 레이블 반전)에서 성능 향상이 뚜렷하게 나타나며, $n=15$ 중 $f=5$의 바이진틴 워커 상황에서 尤히 두드러진다.
• 비내성 규칙(Cc, CGE)의 성능은 모멘텀에 매우 민감하다: $\beta=0.9$일 땐 향상될 수 있으나 $\beta=0.99$ 또는 $\beta=0.999$일 땐 악화될 수 있으며, 일반적인 이점이 없음을 시사한다.
• 극단적인 경우 $n=15$ 중 $f=7$의 바이진틴 워커 존재 시, 높은 모멘텀 값($\beta=0.999$)이 내성 규칙에서 양호한 성능을 달성하기 위해 필수적임을 보여주며, 고위협 환경에서 모멘텀의 중요성을 강조한다.