[논문 리뷰] Phocas: dimensional Byzantine-resilient stochastic gradient descent

Cong Xie, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2018. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 45

한 줄 요약

이 논문은 동기식 SGD를 위한 차원적 Byzantine-내결함적 집계 규칙인 Phocas를 소개하고, 내구성을 입증하며 다양한 공격에 대한 실증적 강건성을 보인다.

ABSTRACT

We propose a novel robust aggregation rule for distributed synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model. The attackers can arbitrarily manipulate the data transferred between the servers and the workers in the parameter server~(PS) architecture. We prove the Byzantine resilience of the proposed aggregation rules. Empirical analysis shows that the proposed techniques outperform current approaches for realistic use cases and Byzantine attack scenarios.

연구 동기 및 목표

• 파라미터-서버 아키텍처에서 가장 일반적인 Byzantine 실패 모델 하에서 강건한 분산 학습의 필요성을 제시한다.
• 그래디언트에서 임의 차원 데이터 손상을 처리하기 위한 차원적 Byzantine 내결함성 도입.
• Byzantine 그래디언트를 허용하고 수렴을 보장하는 효율적이고 비용이 저렴한 집계 규칙을 제안한다.
• 차원적 Byzantine-내결함 집계가 있는 SGD에 대한 이론적 수렴 보장을 제공한다.
• MNIST와 CIFAR-10에서 여러 공격 시나리오에 대한 실증적 강건성 검증.

제안 방법

• 차원당 최대 q개의 값이 손상될 수 있는 일반화된 Byzantine 실패를 m개의 워커에 걸쳐 모델링한다.
• 차원 기반 Byzantine 내결함성을 달성하기 위한 잘려진 평균 기반 집계 규칙(Trmean 및 Phocas)을 제안한다.
• Phocas를 잘려진 평균에 이은 평균 규칙으로 정의하며, 잘려진 평균에 가장 가까운 m−b개 원소를 사용해 평균한다.
• 차원 Δ-Byzantine 내결함성과 분산/수렴 오차의 경계를 도출한다.
• 시간 복잡도 분석: Phocas는 거의 선형 시간이며 Krum 계열보다 저렴하다.
• 강凸/스무스 및 비볼록 설정에서 Δ- Byzantine-내결함 집계가 있는 동기식 SGD에 대한 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 일반화된(차원적) Byzantine 실패를 동기식 SGD에서 공분산의 폭발이나 학습의 발산 없이 허용할 수 있는가?
• RQ2 잘려진 평균 기반의 집계(Trmean, Phocas)가 차원적 Byzantine 내결함성과 증명 가능한 보장을 제공하는가?
• RQ3 이들 집계가 Byzantine 공격하에서 수렴 속도와 최종 오차에 어떤 영향을 미치는가?
• RQ4 Byzantine 시나리오에서 기존의 강건한 집계(Krum, Multi-Krum)와의 계산 비용 비교는 어떠한가?
• RQ5 제안된 방법들이 실제 데이터셋에서 일반적인 공격 모델(Gaussian, omniscient, bit-flip, gambler) 전반에 걸쳐 강건한가?

주요 결과

• 잘려진 평균 기반의 집계는 2q < m일 때 차원적 Byzantine 내결함성과 한정된 분산을 달성한다.
• Phocas는 잘려진 평균에 가장 가까운 m−b 값을 평균화함으로써 강건성을 더 향상시키고, 보장된 내구성 경계를 증명한다.
• 수렴 분석은 강볼록하고 매끈한 F에 대해 일정 오차를 가진 선형 수렴을 보이고, 일반적인 매끈한 F에 대해서도 유사한 보장을 제공한다.
• Phocas와 Trmean은 MNIST와 CIFAR-10 실험에서 Gaussian, omniscient, bit-flip, gambler 공격에 대해 강한 실험적 강건성을 보여준다.
• Phocas는 더 낮은 계산 비용으로 Multi-Krum과 동등하거나 더 나은 성능을 제공한다.
• Krum과 Byzantine 가정 없이의 Mean은 일반화된 차원 Byzantine 모델에서 실패하는 반면, Phocas와 Trmean은 성공한다.