[논문 리뷰] Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top

Eduard Gorbunov, Samuel Horváth외 2명|arXiv (Cornell University)|2022. 06. 01.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 비잔틴 공격에 강건한 분산 최적화 방법인 Byz-VR-MARINA를 제안한다. 이 방법은 분산 최적화에서 분산 감소와 통신 압축을 통합하여 더 날카운 수렴 속도를 달성한다. 더 약한 가정 조건 하에서도 더 나은 성능을 보이며, 분산 감소가 비잔틴 공격을 효과적으로 탐지하고 완화하는 데 필수적임을 입증한다. 또한 압축을 통해 통신 비용을 크게 절감하면서도 수렴 속도를 유지하며, 비볼록 및 폴리악-로자예프스키 설정 모두에서 이전 최첨단 기법들을 능가한다.

ABSTRACT

Byzantine-robustness has been gaining a lot of attention due to the growth of the interest in collaborative and federated learning. However, many fruitful directions, such as the usage of variance reduction for achieving robustness and communication compression for reducing communication costs, remain weakly explored in the field. This work addresses this gap and proposes Byz-VR-MARINA - a new Byzantine-tolerant method with variance reduction and compression. A key message of our paper is that variance reduction is key to fighting Byzantine workers more effectively. At the same time, communication compression is a bonus that makes the process more communication efficient. We derive theoretical convergence guarantees for Byz-VR-MARINA outperforming previous state-of-the-art for general non-convex and Polyak-Lojasiewicz loss functions. Unlike the concurrent Byzantine-robust methods with variance reduction and/or compression, our complexity results are tight and do not rely on restrictive assumptions such as boundedness of the gradients or limited compression. Moreover, we provide the first analysis of a Byzantine-tolerant method supporting non-uniform sampling of stochastic gradients. Numerical experiments corroborate our theoretical findings.

연구 동기 및 목표

• 분산 최적화에서 비잔틴 공격에 강건한 성능을 향상시키기 위해 분산 감소와 통신 압축을 하나의 프레임워크에 통합함으로써 기존 연구의 격차를 메운다.
• 이전 방법보다 더 약한 가정 조건 하에서도 비볼록 및 폴리악-로자예프스키 목표 함수에 대해 더 날카운 이론적 수렴 보장을 달성한다.
• 스토하스틱 그래디언트의 비균일 샘플링을 지원함으로써 더 유연하고 현실적인 학습 시나리오를 가능하게 한다.
• 분산 감소가 성능 향상 외에도 비잔틴 워커에 대한 강건성의 핵심 요소임을 입증한다.
• 통신 압축을 분산 감소된 비잔틴 공격에 강건한 방법과 효과적으로 통합할 수 있으며, 이로 인해 수렴 속도가 저하되지 않음을 보여준다. 이는 대규모 피어드 페더레이티드 러닝 환경에서 효율적인 통신을 가능하게 한다.

제안 방법

• MARINA 유형 업데이트를 통한 분산 감소와 기하 평균을 이용한 강건한 집계를 결합한 새로운 분산 최적화기 Byz-VR-MARINA를 제안한다. 이는 비잔틴 워커에 대한 저항력을 갖춘다.
• 스토하스틱 그래디언트의 비균일 샘플링을 가능하게 하는 새로운 분석 프레임워크를 도입함으로써 분산 학습에서의 유연성과 현실성 향상을 달성한다.
• 일반 압축 연산자 Q를 통해 통신 압축을 구현하며, 파라미터 ω와 ζ로 특징지어진 오차 한계를 갖추어 수렴 보장을 유지하면서도 비트 절약을 실현한다.
• 더 약한 가정 조건 하에서도 수렴 속도를 도출한다: 유한한 기울기나 제한된 압축 조건이 필요 없으며, 기울기 노름의 경계 조건도 필요 없다.
• 분산 감소와 비잔틴 노이즈의 영향을 분리하는 새로운 분석 기법을 사용하여 전체 수렴 속도에 대해 더 날카운 경계를 도출한다.
• 비잔틴 환경에 적합하게 조정된 SAGA 유형의 분산 감소 메커니즘의 수정된 버전을 적용하여, 악성 영향이 있더라도 안정적인 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 분산 감소는 분산 최적화에서 비잔틴 공격에 대한 강건성을 향상시키는 핵심 메커니즘으로 활용될 수 있는가?
• RQ2 분산 감소된 비잔틴 공격에 강건한 방법과 통신 압축을 통합할 수 있는가? 이로 인해 수렴 속도가 저하되는가?
• RQ3 기존 최첨단 기법들은 기울기의 유한성이나 압축 제한 등의 제약 조건이 있는 가정으로 인해 수렴 보장이 느슨한가?
• RQ4 비잔틴 워커 존재 하에서 비볼록 및 폴리악-로자예프스키 목표 함수에 대해 날카운 수렴 속도를 달성할 수 있는가?
• RQ5 스토하스틱 그래디언트의 비균일 샘플링은 비잔틴 공격에 강건한 최적화 알고리즘의 수렴성과 강건성에 어떤 영향을 미치는가?

주요 결과

• Byz-VR-MARINA의 통신 복잡도는 O((L + √A)Δ₀/ε²)이며, A는 문제 파라미터와 압축에 따라 달라지며, 일반적인 비볼록 및 폴리악-로자예프스키 조건 하에서 이 경계는 날카롭다.
• 비잔틴 워커가 존재하지 않는 경우조차도, 더 날카운 분석과 개선된 분산 제어 덕분에 이전 최첨단 기법보다 더 나은 수렴 속도를 달성한다.
• RandK 스퍼스피케이션을 사용할 경우 압축 비율 1+ω = d/K일 때, 통신 비용은 O(d/ζ_Q)만큼 감소하지만, 통신 라운드 수는 오직 O(√(1+ω))만큼만 증가하여 매우 통신 효율적이다.
• 1+ω ≤ m일 경우, 비압축 버전 대비 라운드 수가 √(1+ω)배 뿐이므로, 근사 최적의 수렴 속도를 유지하면서도 강력한 압축(예: 전송 데이터의 0.1%)을 실현할 수 있다.
• m > 1/(c²δ²)일 경우, 더 큰 배치 크기 b를 사용할수록 추가적인 분산 감소 효과로 인해 비잔틴 이동이 덜 효과적으로 작용하므로, b가 √m를 초과할 때 성능 향상이 발생한다.
• 이 분석은 비잔틴 공격에 강건한 환경에서 스토하스틱 그래디언트의 비균일 샘플링을 처음으로 지원하며, 이는 이론적 적용 범위를 이질적인 데이터 환경으로 넓힌다.