[논문 리뷰] Generalized Byzantine-tolerant SGD

Cong Xie, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2018. 02. 27.

Distributed systems and fault tolerance참고 문헌 12인용 수 176

한 줄 요약

이 논문은 일반화된 Byzantine 실패 모델에서 동기식 SGD를 위한 세 가지 강건하고 중앙값 기반 집계 규칙을 도입하고, 차원적 Byzantine 탄력성을 증명하며 다양한 공격에 대한 실증적 강건성을 보인다.

ABSTRACT

We propose three new robust aggregation rules for distributed synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model. The attackers can arbitrarily manipulate the data transferred between the servers and the workers in the parameter server~(PS) architecture. We prove the Byzantine resilience properties of these aggregation rules. Empirical analysis shows that the proposed techniques outperform current approaches for realistic use cases and Byzantine attack scenarios.

연구 동기 및 목표

• 일반화된 Byzantine 모델 하에서 분산 SGD의 실패/공격 회복력을 동기 부여한다.
• 노드 간 임의의 차원별 Byzantine 값을 허용하는 집계 규칙을 개발한다.
• 제안된 규칙들의 임계점으로의 수렴을 증명한다.
• 계산 효율성과 현실적인 Byzantine 공격에 대한 실증적 강건성을 평가한다.

제안 방법

• 차원별로 노드 간 값이 오염될 수 있는 일반화된 Byzantine 모델을 정의한다.
• 세 가지 집계 규칙: 기하 중심값(geometric median), 주변값 중앙값(marginal median), 중앙값 주위의 평균(mean around median)을 제안한다.
• 제안된 규칙들에 대해 차원별 q Byzantine 하에서 차원적 Byzantine 탄력성을 증명한다.
• 각 집계 규칙의 시간 복잡도를 분석한다(중앙값 기반 방법은 사실상 거의 선형).
• 탄력성 조건이 성립할 때 이 규칙들이 임계점으로 수렴함을 보인다.

실험 결과

연구 질문

• RQ1 차원별 수준에서 Byzantine 값이 각 워커에 걸쳐 발생할 수 있는 일반화된 Byzantine 실패 모델에서 동기식 SGD가 좋은 해로 수렴할 수 있는가?
• RQ2 중앙값 기반 집계 규칙이 차원별 Byzantine 탄력성을 제공하는가, 어떤 조건에서 그런가?
• RQ3 제안된 규칙들이 수렴성, 강건성, 계산 효율성 면에서 고전적 Byzantine 방어와 비교하여 어떠한가?
• RQ4 공격자 모델(가우시안, 전지적(omniscient), 도박사(gambler))이 제안된 집계에서 수렴에 미치는 영향은 무엇인가?

주요 결과

• 세 가지 중앙값 기반 집계(기하 중심값, 주변값 중앙값, 중앙값 주위의 평균)가 차원적 Byzantine 탄력성 하에서 임계점으로의 수렴을 달성한다.
• 주변값 중앙값과 중앙값 주위의 평균은 차원별 Byzantine 탄력성을 가지는 것으로 증명되며, 차원별 방어를 가능하게 한다.
• 기하 중심값은 차원별 고려를 통한 고전적 Byzantine 탄력성을 가지며, 이 방법들은 실제로 거의 선형 시간 복잡도를 갖는다.
• 실험 결과 제안된 방법들이 MNIST 및 CIFAR-10 작업에서 가우시안, 전지적, 비트-플립, 도박사 공격 하에서 기초 집계들보다 우수한 성능을 보인다.
• 일부 공격 하에서 평균 기반 방법은 중앙값 기반 방법보다 강건성이 낮아, 차원 공격 하에서 주변값 중앙값/중심값 주위의 평균의 우위가 강조된다.