[논문 리뷰] Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach

Haibo Yang, Xin Zhang외 2명|arXiv (Cornell University)|2019. 09. 10.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 악성 기울기를 걸러내기 위해 립시츠-유사 좌표별 중앙값을 사용하는 비잔티노스 내성적인 확률적 경사 하강법인 LICM-SGD를 제안한다. 이 방법은 공격자 수에 대한 사전 지식이 없이도 최대 50%의 비잔티노스 워커에 대해 수렴성을 확보하며, 최적의 O(md) 계산 복잡도를 유지하면서 MNIST 및 CIFAR-10 데이터셋에서 기존 방법보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

In this work, we consider the resilience of distributed algorithms based on stochastic gradient descent (SGD) in distributed learning with potentially Byzantine attackers, who could send arbitrary information to the parameter server to disrupt the training process. Toward this end, we propose a new Lipschitz-inspired coordinate-wise median approach (LICM-SGD) to mitigate Byzantine attacks. We show that our LICM-SGD algorithm can resist up to half of the workers being Byzantine attackers, while still converging almost surely to a stationary region in non-convex settings. Also, our LICM-SGD method does not require any information about the number of attackers and the Lipschitz constant, which makes it attractive for practical implementations. Moreover, our LICM-SGD method enjoys the optimal $O(md)$ computational time-complexity in the sense that the time-complexity is the same as that of the standard SGD under no attacks. We conduct extensive experiments to show that our LICM-SGD algorithm consistently outperforms existing methods in training multi-class logistic regression and convolutional neural networks with MNIST and CIFAR-10 datasets. In our experiments, LICM-SGD also achieves a much faster running time thanks to its low computational time-complexity.

연구 동기 및 목표

• 분산된 SGD가 비잔티노스 공격에 취약한 점을 해결하기 위해, 악성 워커가 학습을 방해할 수 있는 임의의 기울기를 전송하는 상황을 다루는 것.
• 공격자 수나 립시츠 상수에 대한 사전 지식이 필요 없는 강건한 집계 방법을 개발하는 것.
• 표준 SGD와 유사한 낮은 계산 복잡도를 확보하면서도 악성 기울기로부터 강건성을 유지하는 것.
• 비볼록 설정에서 높은 비잔티노스 영향을 받는 상황에서도 정적 영역으로의 수렴을 보장하는 방법을 설계하는 것.
• 다양한 딥러닝 작업에서 분류 정확도와 런타임 효율성 면에서 방법의 우수성을 실증적으로 검증하는 것.

제안 방법

• 선량한 워커의 기울기에서의 부드러움 성질을 활용하는, 립시츠-유사 좌표별 중앙값 필터링 메커니즘을 도입한다.
• 기울기의 각 좌표에 대해 모든 워커 업데이트의 중앙값을 계산함으로써, 비잔티노스 공격으로 인한 이질적 값들을 효과적으로 억제한다.
• 선량한 기울기는 립시츠 유계 영역 내에 존재하지만, 악성 기울기는 크기나 방향에서 크게 이탈하는 경향이 있다는 사실을 활용한다.
• 각 파라미터 차원 별로 독립적으로 좌표별 중앙값을 계산함으로써, 임의의 방향 공격에 대한 강건성을 확보한다.
• 계산 효율성이 뛰어나지, 각 반복마다 오직 O(md) 시간만을 요구하며, 표준 SGD와 동일한 복잡도를 갖는다.
• 공격자 수나 립시츠 상수와 관련된 하이퍼파rameter가 필요 없어, 실용적인 구현 가능성을 높인다.

실험 결과

연구 질문

• RQ1 공격자 수를 알지 못해도 좌표별 중앙값 기반 집계 방법이 비잔티노스 내성성을 달성할 수 있는가?
• RQ2 최대 절반의 워커가 비잔티노스일 경우 비볼록 설정에서 정적 영역으로의 수렴을 유지할 수 있는가?
• RQ3 제안된 립시츠-유사 필터링 메커니즘이 실질적으로 선량한 기울기와 악성 기울기를 효과적으로 구분할 수 있는가?
• RQ4 표준 SGD와 동일한 계산 복잡도를 확보하면서도 강건성을 유지할 수 있는가?
• RQ5 최신 비잔티노스 내성 알고리즘과 비교해 분류 정확도와 학습 안정성 면에서 어떻게 성능을 냈는가?

주요 결과

• Omniscient 공격 하에서 40명의 워커 중 18명이 비잔티노스일 경우, CNN 기반의 MNIST에서 85%의 테스트 정확도를 기록했으며, 공격 없음 기준보다 단지 2.5% 떨어지지 않았다.
• 비잔티노스 워커 수가 0에서 18로 증가하더라도 정확도가 87.5%에서 83.2%로 떨어질 뿐이었고, 기준 수준에 근접한 성능 유지를 보였다.
• LICM-SGD는 MNIST 및 CIFAR-10에서의 여러 실험에서 Krum, Bulyan, Median, Trimmed Mean보다 정확도와 안정성 면에서 뛰어나다.
• 최적의 O(md) 계산 복잡도를 확보했으며, 기존 고내성 방법의 O(m²d) 복잡도보다 크게 낮다.
• LICM-SGD는 데이터 샘플이나 공격자 구성의 변동에 민감하지 않아, 다양한 실행에서 일관된 성능을 보였다.
• 비잔티노스 워커 수나 립시츠 상수에 대한 사전 지식이 필요 없어, 실세계 구현에서의 실용성을 높였다.