[논문 리뷰] Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates

Dong Yin, Yudong Chen외 2명|arXiv (Cornell University)|2018. 03. 05.

Distributed Sensor Networks and Detection Algorithms참고 문헌 39인용 수 542

한 줄 요약

본 논문은 바이잔틴 워커에 대해 강인함이 입증된 두 가지 분산형 그래디언트 하강 알고리즘(중앙값 기반 및 잘려진 평균 기반)을 제시합니다. 이 알고리즘들은 강하게 볼록 손실에 대해 거의 최적에 가까운 통계적 속도를 달성하고, 특정 조건에서 한 라운드의 중앙값 기반 변형은 최적 속도를 달성합니다.

ABSTRACT

In large-scale distributed learning, security issues have become increasingly important. Particularly in a decentralized environment, some computing units may behave abnormally, or even exhibit Byzantine failures -- arbitrary and potentially adversarial behavior. In this paper, we develop distributed learning algorithms that are provably robust against such failures, with a focus on achieving optimal statistical performance. A main result of this work is a sharp analysis of two robust distributed gradient descent algorithms based on median and trimmed mean operations, respectively. We prove statistical error rates for three kinds of population loss functions: strongly convex, non-strongly convex, and smooth non-convex. In particular, these algorithms are shown to achieve order-optimal statistical error rates for strongly convex losses. To achieve better communication efficiency, we further propose a median-based distributed algorithm that is provably robust, and uses only one communication round. For strongly convex quadratic loss, we show that this algorithm achieves the same optimal error rate as the robust distributed gradient descent algorithms.

연구 동기 및 목표

• 일부 워커가 임의로 동작할 수 있는 대규모 분산 학습에서 강인성을 동기화합니다(바이잔틴).
• 바이잔틴 실패가 통계적 오차율에 미치는 영향을 특징짓고 최적 달성 가능 속도를 식별합니다.
• 두 가지 강인한 분산 그래디언트 하강 알고리즘(중앙값 기반 및 절단 평균 기반)과 한 라운드 변형을 개발하고 분석합니다.
• 이 알고리즘들이 강하게 볼록, 볼록, 그리고 비볼록 손실에 대해 근접 최적 또는 최적의 속도를 달성하는 조건을 제공합니다.

제안 방법

• 워커 그래디언트를 집계하기 위해 좌표별 중앙값(옵션 I)과 좌표별 잘려진 평균(옵션 II)을 사용하는 두 가지 강인한 분산 그래디언트 하강 알고리즘을 제안합니다.
• 강하게 볼록, 비강하게 볼록, 그리고 매끄러운 비볼록 모집단 손실에 대한 통계적 오차 한계를 도출합니다.
• 일정한 데이터 간의 의존성과 Byzantine 적대자의 영향을 다루기 위해 균일한 커버링 논증과 Berry-Esseen형 불평등을 사용합니다.
• 절단 평균 GD가 강하게 볼록 손실에 대해 차수 최적 속도 ~Õ(α/√n + 1/√(nm))를 달성함을 입증합니다.
• 좌표별 중앙값을 통해 로컬 ERM을 집계하는 한 라운드 강건 알고리즘을 도입하여 통신 라운드를 줄입니다.
• 각 방법이 최적 또는 근사 최적 속도를 달성하는 조건과 비교를 제공합니다.

실험 결과

연구 질문

• RQ1 바이잔틴 실패 하에 분산 학습에서 달성 가능한 가장 좋은 통계적 성능은 무엇인가요?
• RQ2 분산 GD에서 강하게 볼록, 볼록, 비볼록과 같은 다양한 손실 클래스에 대해 Robust한 집계 규칙(중앙값, 절단 평균)이 최적 속도를 달성할 수 있나요?
• RQ3 바이잔틴-강건 분산 학습에서 통신 효율성과 통계적 정확도 간의 트레이드오프는 무엇인가요?
• RQ4 중앙값 기반 대 절단 평균 기반 방법이 견고성과 최적 속도를 보장하는 데이터 꼬리 가정은 무엇인가요?

주요 결과

	median GD	trimmed mean GD
통계적 오차율	~O(α/√n + 1/√(nm) + 1/n)	~O(α/√n + 1/√(nm))
∂k f(w;z)의 분포	편향 한정	Sub-exponential
α를 알고 있나요?	아니오	예

• 중앙값 기반 GD는 가벼운 가정 아래 속도 Õ(α/√n + 1/√(nm) + 1/n)을 달성하며, n ≳ m일 때 차수 최적에 가깝습니다.
• 절단 평균 기반 GD는 부분 지수적 그라디언트 가정하에 속도 Õ(α/√n + 1/√(nm))를 달성하며, 강하게 볼록 손실에 대해 차수 최적에 가깝습니다.
• 한 라운드 중앙값 기반 알고리즘은 n ≳ m일 때 강하게 볼록 이차 손실에 대해 Õ(α/√n + 1/√(nm) + 1/n)을 달성합니다.
• 하한은 Õ(α/√n + 1/√(nm))가 필요하다는 것을 보여 주며, 제안된 속도가 바이잔틴 환경에서 거의 최적임을 시사합니다.
• 두 알고리즘은 보완적입니다: 중앙값 기반은 더 경미한 꼬리/모멘트 가정을 필요로 하는 반면, 절단 평균은 더 강한 꼬리 가정(β-sub-exponential)에서 더 촘촘한 속도를 제공하고 α의 지식이 필요합니다.
• 표 1은 두 방법 간의 실제적인 트레이드오프를 요약합니다.