[논문 리뷰] Distributed Momentum for Byzantine-resilient Learning

El Mahdi El Mhamdi, Rachid Guerraoui외 1명|arXiv (Cornell University)|2020. 02. 28.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 15

한 줄 요약

이 논문은 분산 SGD에서 워커 측면에서 동력을 계산하여 기울기 추정치의 분산-노름 비율을 줄임으로써 Byzantine 내성성을 향상시키는 방법을 제안한다. 이는 강력한 집계 규칙의 강도를 높인다. 실험 결과, 서버 측면 동력 대비 Byzantine 공격으로 인한 정확도 저하를 최대 11배까지 감소시킨다.

ABSTRACT

Momentum is a variant of gradient descent that has been proposed for its benefits on convergence. In a distributed setting, momentum can be implemented either at the server or the worker side. When the aggregation rule used by the server is linear, commutativity with addition makes both deployments equivalent. Robustness and privacy are however among motivations to abandon linear aggregation rules. In this work, we demonstrate the benefits on robustness of using momentum at the worker side. We first prove that computing momentum at the workers reduces the variance-norm ratio of the gradient estimation at the server, strengthening Byzantine resilient aggregation rules. We then provide an extensive experimental demonstration of the robustness effect of worker-side momentum on distributed SGD.

연구 동기 및 목표

• 일부 워커가 Byzantine(악성 또는 고장난) 상태일 때 분산 기계학습의 강건성을 유지하는 데 도전하는 문제를 다루기.
• 기존 Byzantine 내성 집계 규칙의 한계를 극복하기 — 즉, 정상 기울기에서 분산-노름 비율이 유한함을 가정하는 것.
• 워커 측면 동력 계산을 통해 서버에서의 기울기 품질을 향상시키기 — 분산-노름 비율을 줄임으로써.
• 표준 강력한 집계 규칙(예: Krum, Median)이 효과적으로 작동하도록 워커 측면 동력의 효과를 입증하기.

제안 방법

• μ를 사용하여 과거 기울기의 누적합을 지수 감소시키는 방식으로 워커 수준에서 동력을 적용한다.
• 워커에서의 동력 업데이트는 다음과 같이 정의된다: m_t = μ * m_{t-1} + (1 - μ) * g_t, 여기서 g_t는 현재 기울기이다.
• 서버에서 강력한 집계 규칙에 입력으로 원시 기울기 대신 이 동력 계산 기울기를 사용한다.
• 이론적 분석을 통해 워커 측면 동력이 정상 기울기의 분산-노름 비율을 줄임을 확인하였으며, 이는 중앙값 기반 집계 규칙의 핵심 요소이다.
• 이 방법은 동기식 및 이방식 SGD 환경 모두에서 호환되며, 이방식 환경에서 필터링 기법과도 호환된다.
• 추가 계산 오버헤드 없이 서버 측면 동력과 동일한 성능을 달성한다. 계산은 워커로 이관되었지만 추가 통신이 발생하지 않는다.

실험 결과

연구 질문

• RQ1 워커 측면에서 동력을 계산하면 Byzantine 내성 분산 학습에서 기울기 추정치의 분산-노름 비율을 줄일 수 있는가?
• RQ2 워커 측면 동력은 Krum 및 Median과 같은 표준 Byzantine 내성 집계 규칙의 강건성을 향상시키는가?
• RQ3 Byzantine 공격 하에서 수렴성과 정확도 측면에서 워커 측면 동력은 서버 측면 동력보다 어떻게 비교되는가?
• RQ4 워커 측면 동력이 분산-노름 비율을 줄이지 못하는 조건는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 제안된 방법은 Byzantine 서버가 존재하는 이방식 또는 완전히 분산된 환경으로 확장될 수 있는가?

주요 결과

• 워커 측면 동력은 정상 기울기 추정치의 분산-노름 비율을 줄여 Byzantine 내성 집계 규칙의 강건성을 강화한다.
• 실험 결과, 서버 측면 동력 대비 워커 측면 동력을 사용할 경우 상위 1위 정확도가 5%에서 50%까지 향상된다.
• Byzantine 공격으로 인한 정확도 저하가 최대 11배 감소하며, 특히 Median 집계 규칙을 사용할 경우 CIFAR-10에서 뚜렷하게 나타난다.
• 학습이 진행될수록 분산-노름 비율이 감소하며, 학습률을 낮출수록 더욱 두드러진다. 이는 이론적 예측을 확인한다.
• 워커 측면 동력은 선형이 아닌 집계 규칙에서도 효과적이며, 서버 측면 동력은 선형성을 기반으로 하므로 이와 다르다.
• 이 방법은 다양한 데이터셋(MNIST, CIFAR-10)과 공격 유형(예: Baruch 등, 2019; Xie 등, 2019)에서 효과적이며, 광범위한 적용 가능성을 보여준다.