[논문 리뷰] Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)

Nirupam Gupta, Shuo Liu외 1명|arXiv (Cornell University)|2020. 08. 11.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 10

한 줄 요약

이 논문은 비교적 간단한 노름 기반 그래디언트 필터인 비교적 그래디언트 제거(CGE)를 사용하는 비잔틴 결함 내성 분산 기계학습 프레임워크를 제안한다. CGE는 각 반복에서 유클리드 노름이 가장 큰 f개의 확률적 그래디언트를 자동으로 제거하여, 최대 f명의 비잔틴 에이전트가 존재하더라도 최적 모델로의 수렴을 보장한다. 이와 동시에 계산의 단순성과 다중-KRUM 및 기하평균-중심과 같은 최첨단 기법과 비슷한 결함 내성 성능을 달성한다.

ABSTRACT

This paper considers the Byzantine fault-tolerance problem in distributed stochastic gradient descent (D-SGD) method - a popular algorithm for distributed multi-agent machine learning. In this problem, each agent samples data points independently from a certain data-generating distribution. In the fault-free case, the D-SGD method allows all the agents to learn a mathematical model best fitting the data collectively sampled by all agents. We consider the case when a fraction of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm correctly, and may render traditional D-SGD method ineffective by sharing arbitrary incorrect stochastic gradients. We propose a norm-based gradient-filter, named comparative gradient elimination (CGE), that robustifies the D-SGD method against Byzantine agents. We show that the CGE gradient-filter guarantees fault-tolerance against a bounded fraction of Byzantine agents under standard stochastic assumptions, and is computationally simpler compared to many existing gradient-filters such as multi-KRUM, geometric median-of-means, and the spectral filters. We empirically show, by simulating distributed learning on neural networks, that the fault-tolerance of CGE is comparable to that of existing gradient-filters. We also empirically show that exponential averaging of stochastic gradients improves the fault-tolerance of a generic gradient-filter.

연구 동기 및 목표

• 분산 확률적 그래디언트 하강(D-SGD)에서 고장 난 에이전트가 임의의 잘못된 그래디언트를 전송하여 학습을 손상시킬 수 있는 비잔틴 결함 문제를 해결한다.
• 복잡한 통계적 가정이나 높은 계산 오버헤드 없이도 결함 내성을 유지하는 계산 효율적인 그래디언트 필터를 설계한다.
• 적응형 임계값을 사용하는 노름 기반 필터링이 다중-KRUM 및 기하평균-중심과 같은 고급 기법과 비슷한 강건성을 달성할 수 있음을 보여준다.
• 지수 평균화가 비잔틴 환경에서 일반 그래디언트 필터의 결함 내성에 미치는 영향을 조사한다.

제안 방법

• 각 반복에서 유클리드 노름이 가장 큰 f개의 확률적 그래디언트를 제거하는 노름 기반 그래디언트 필터인 비교적 그래디언트 제거(CGE)를 도입한다.
• 고정 임계값 접근 방식과는 달리, 비고장 난 에이전트의 그래디언트 노름에 기반해 동적으로 조정되는 적응형 임계값을 사용하여 그래디언트 제거를 수행한다.
• 그래디언트 필터링 과정의 강건성을 향상시키기 위해 확률적 그래디언트의 지수 평균화를 통합한다.
• 서버가 CGE를 적용한 필터링된 그래디언트를 사용하여 D-SGD에서 글로벌 모델 파라미터를 업데이트하는 신뢰할 수 있는 서버 기반 아키텍처를 사용한다.
• 기본적인 확률적 가정 하에서 수렴 한계를 이론적으로 확립하여, 기대 오차가 비율 ρ < 1로 기하급수적으로 감소함을 보여준다.
• 기대 제곱 오차에 대한 재귀 부등식을 유도하여, 알고리즘이 최적 모델 파라미터 w*의 이웃 영역으로 유한 오차 범위 내에서 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 적응형 임계값을 가진 단순한 노름 기반 그래디언트 필터가 이론적 보장 하에 분산 SGD에서 비잔틴 결함 내성을 달성할 수 있는가?
• RQ2 제안된 CGE 필터는 다중-KRUM, 기하평균-중심, 스펙트럼 필터와 같은 기존 기법들과 비교해 결함 내성 성능에서 어떻게 다른가?
• RQ3 확률적 그래디언트의 지수 평균화가 비잔틴 에이전트 존재 하에서 일반 그래디언트 필터의 결함 내성에 기여하는가?
• RQ4 CGE가 추가된 D-SGD 방법이 확률적 그래디언트 가정 하에서 이론적으로 어떻게 수렴하는가?

주요 결과

• CGE 필터는 표준 확률적 가정 하에서 최대 f명의 비잔틴 에이전트에 대해 결함 내성을 보장하며, 최적 모델의 이웃 영역으로의 수렴을 보장한다.
• 이론적 분석을 통해 기대 제곱 오차가 비율 ρ < 1로 기하급수적으로 감소함을 보여주며, 이는 w*로의 수렴이 유한 오차 한계 M² 내에서 이루어짐을 증명한다.
• 신경망에서의 실증 평가 결과, CGE는 다중-KRUM 및 기하평균-중심과 같은 고급 기법들과 비슷한 결함 내성 성능을 달성함을 보였다.
• 실증적으로 확률적 그래디언트의 지수 평균화가 일반 그래디언트 필터(예: CGE 포함)의 결함 내성 향상에 기여함을 입증하였다.
• CGE에서의 적응형 임계값 설정은 결함 내성에 핵심적인 역할을 하며, 고정 임계값 기반의 노름 기반 필터와 달리 악성 그래디언트 공격에 대해 실패하지 않는다.
• 다중-KRUM 및 스펙트럼 필터와 같은 기존 강건 필터보다 계산이 간단하면서도 동일한 수준의 강건성을 유지한다.