[논문 리뷰] Distributed Training with Heterogeneous Data: Bridging Median- and Mean-Based Algorithms

Xiangyi Chen, Tiancong Chen외 3명|arXiv (Cornell University)|2019. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 32

한 줄 요약

이 논문은 이질적인 데이터 하에서 중앙값 기반 및 평균 기반 분산 최적화 알고리즘 간 격차를 메우기 위해 노이즈 펌uttation을 이용한 새로운 기울기 보정 메커니즘을 제안한다. 이는 데이터가 비아이디어일 경우에도 signSGD와 medianSGD의 전역 수렴을 가능하게 하며, 낮은 통신 복잡도를 유지하면서 현실적인 피에르드 학습 환경에서 정적 점으로의 수렴을 보장한다.

ABSTRACT

Recently, there is a growing interest in the study of median-based algorithms for distributed non-convex optimization. Two prominent such algorithms include signSGD with majority vote, an effective approach for communication reduction via 1-bit compression on the local gradients, and medianSGD, an algorithm recently proposed to ensure robustness against Byzantine workers. The convergence analyses for these algorithms critically rely on the assumption that all the distributed data are drawn iid from the same distribution. However, in applications such as Federated Learning, the data across different nodes or machines can be inherently heterogeneous, which violates such an iid assumption. This work analyzes signSGD and medianSGD in distributed settings with heterogeneous data. We show that these algorithms are non-convergent whenever there is some disparity between the expected median and mean over the local gradients. To overcome this gap, we provide a novel gradient correction mechanism that perturbs the local gradients with noise, together with a series results that provable close the gap between mean and median of the gradients. The proposed methods largely preserve nice properties of these methods, such as the low per-iteration communication complexity of signSGD, and further enjoy global convergence to stationary solutions. Our perturbation technique can be of independent interest when one wishes to estimate mean through a median estimator.

연구 동기 및 목표

• 작업자 간 데이터가 비아이디어일 경우 중앙값 기반 및 신호 기반 분산 최적화 알고리즘의 수렴 보장이 부족한 문제를 해결한다.
• 데이터 이질성 하에서 중앙값 기반(예: medianSGD)과 평균 기반(예: SGD) 최적화 간 이론적 격차를 메운다.
• 낮은 통신 복잡도(예: signSGD)와 바이러스 저항성(예: medianSGD)과 같은 유용한 성질을 유지하면서도 비아이디어 데이터 하에서 수렴을 보장한다.
• signSGD와 medianSGD 간 숨겨진 연결 고리를 설명하는 통합 이론적 프레임워크를 제공한다.
• 이질적 환경에서 국소 기울기의 중앙값과 평균을 일치시키기 위한 증명 가능하게 효과적인 펌uttation 기법을 개발한다.

제안 방법

• 국소 기울기에 제어된 노이즈를 추가하여 그 중앙값과 평균 분포를 일치시키는 노이즈 펌uttation 메커니즘을 도입한다.
• 이론적 분석을 통해 펌uttation된 기울기가 국소 기울기의 기대 중앙값과 평균 간 격차를 줄여 수렴을 가능하게 함을 보여준다.
• 이질적 데이터 하에서 signSGD와 medianSGD의 수렴 한계를 유도하여 정적 점으로의 전역 수렴을 증명한다.
• 유한한 분산과 리프시츠 기울기 가정을 갖는 확률적 근사 프레임워크를 사용하여 수렴 속도를 분석한다.
• 펌uttation 기법이 중앙값 추정기로 평균을 추정할 수 있도록 해주며, 이는 별도의 관심사로도 중요하다.
• 좌표별 중앙값과 부호 연산을 활용하여 통신 효율성을 유지하면서도 강건성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 작업자 간 데이터가 비아이디어일 경우, signSGD와 medianSGD는 전역적으로 수렴할 수 있는가? (표준 아이디어 가정을 위반함)
• RQ2 데이터 이질성 하에서 중앙값 기반 및 평균 기반 알고리즘이 수렴하지 않는 원인은 무엇이며, 이는 어떻게 이론적으로 해결할 수 있는가?
• RQ3 기울기 보정 메커니즘은 이질적 데이터 하에서 signSGD의 통신 효율성을 유지하면서도 수렴을 보장할 수 있는가?
• RQ4 signSGD와 medianSGD 간 이론적 연결 고리가 존재하는가? 이는 펌uttation 하에서의 공통 수렴 행동을 설명할 수 있는가?
• RQ5 노이즈 펌uttation은 분산 비볼록 최적화에서 기울기의 중앙값과 평균 간 격차를 효과적으로 메울 수 있는가?

주요 결과

• 제안된 노이즈 펌uttation 메커니즘은 국소 기울기의 기대 중앙값과 평균이 다를 경우에도 signSGD와 medianSGD의 전역 수렴을 보장한다.
• 수렴 속도는 $ O(d^{3/4}/T^{1/4}) $ 로, 비볼록 분산 최적화의 최적 통계 속도와 일치한다.
• sign 연산을 통한 1비트 기울기 압축을 유지함으로써 signSGD의 낮은 통신 복잡도를 그대로 유지한다.
• 이론적 분석을 통해 펌uttation된 기울기의 중앙값이 기울기의 평균으로 수렴함을 증명하여 중앙값 기반 및 평균 기반 알고리즘 간 격차를 해소한다.
• 펌uttation 기법은 중앙값 기반 추정기로 평균을 강건하게 추정할 수 있도록 해주며, 이는 분산 추정 분야에서 별도의 관심사로 중요하다.
• MNIST를 사용한 실험적 검증을 통해 이 방법이 이질적 데이터를 가진 실질적인 피에르드 학습 환경에서 효과적임을 확인한다.