[논문 리뷰] Byzantine-Tolerant Machine Learning

Peva Blanchard, El Mahdi El Mhamdi외 2명|arXiv (Cornell University)|2017. 03. 08.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 23

한 줄 요약

이 논문은 n명의 워커 중에서 가장 신뢰할 수 있는 기울기 벡터를 선택함으로써 최대 f명의 바르비셔안 실패를 견디는 베이지안 저항성 있는 확률적 기울기 하강(SGD) 업데이트 규칙인 Krum을 제안한다. 거리 기반 선택을 통해 다른 모든 벡터와의 제곱 거리의 합을 최소화함으로써, Krum은 임의의 워커 행동에도 불구하고 수렴을 보장하며, 시간 복잡도는 $ O(n^2(d + \log n)) $이다.

ABSTRACT

The growth of data, the need for scalability and the complexity of models used in modern machine learning calls for distributed implementations. Yet, as of today, distributed machine learning frameworks have largely ignored the possibility of arbitrary (i.e., Byzantine) failures. In this paper, we study the robustness to Byzantine failures at the fundamental level of stochastic gradient descent (SGD), the heart of most machine learning algorithms. Assuming a set of $n$ workers, up to $f$ of them being Byzantine, we ask how robust can SGD be, without limiting the dimension, nor the size of the parameter space. We first show that no gradient descent update rule based on a linear combination of the vectors proposed by the workers (i.e, current approaches) tolerates a single Byzantine failure. We then formulate a resilience property of the update rule capturing the basic requirements to guarantee convergence despite $f$ Byzantine workers. We finally propose Krum, an update rule that satisfies the resilience property aforementioned. For a $d$-dimensional learning problem, the time complexity of Krum is $O(n^2 \cdot (d + \log n))$.

연구 동기 및 목표

• 분산 기계 학습 시스템에서 바르비셔안 결함에 대한 내성 부족 문제를 해결한다. 특히 확률적 기울기 하강(SGD) 프레임워크에서의 문제를 다룬다.
• 평균화와 같은 선형 집계 방법의 기본적인 취약성을 규명한다. 즉, 단 한 명의 바르비셔안 워커만으로도 이러한 방법이 파손될 수 있음을 보여준다.
• f명의 바르비셔안 워커가 존재하더라도 SGD의 수렴을 보장하는 복구 성질을 수립한다. 이 성질은 업데이트 방향이 진짜 기울기와 일치함을 보장한다.
• 워커 출력에서 가장 일관성 있는 기울기 벡터를 선택하는 비선형적이고 거리 기반의 집계 규칙인 Krum을 설계하고 분석한다.
• Krum을 m-Krum으로 확장하여 다수의 견고한 벡터를 선택함으로써 학습 효율성을 향상시키면서도 복구 성질을 유지한다.

제안 방법

• 선택된 업데이트 벡터가 진짜 기울기와 방향이 일치하고, 최대 4차까지 통계적 모멘트가 유한한 조건을 만족하는 복구 성질을 제안한다.
• 다른 모든 벡터와의 거리 제곱합을 최소화하는 방식으로, 바르비셔안 입력에 대한 저항성을 확보하는 Krum을 도입한다.
• 각 워커의 기울기 벡터에 대한 Krum 점수를 $ \text{score}(i) = \sum_{j \neq i} \|V_i - V_j\|^2 $로 정의하며, 가장 낮은 점수를 가진 벡터를 선택한다.
• 선택된 각 벡터를 풀에서 제거하면서 반복적으로 상위 m개의 점수를 가진 벡터를 선택함으로써 Krum을 m-Krum으로 확장한다.
• 기울기 분포와 워커 행동에 대한 온건한 가정 하에, 확률적 분석을 통해 기대 업데이트 방향이 여전히 진짜 기울기와 일치함을 보여준다.
• 선택된 벡터가 진짜 기울기와 이루는 각도의余弦값에 하한을 유지함을 증명하며, 이는 $ \sin\alpha = \frac{\eta(n,f)\sqrt{d}\sigma}{\|g\|} $로 정량화된다. 여기서 $ \eta(n,f) $는 n과 f에 대한 함수이다.

실험 결과

연구 질문

• RQ1 분산 SGD에서 평균화와 같은 선형 집계 방법이 단 한 명의 바르비셔안 워커를 견디는 데 가능한가?
• RQ2 f명의 바르비셔안 워커가 존재하는 상황에서 수렴을 보장하는 데 필요한 업데이트 규칙의 최소 조건은 무엇인가?
• RQ3 Krum과 같은 비선형적이고 거리 기반의 선택 규칙이 고차원 매개변수 공간에서 바르비셔안 저항성을 달성할 수 있는가?
• RQ4 Krum의 복구 성질은 워커 수와 바르비셔안 장애 수에 따라 어떻게 스케일링되는가?
• RQ5 m-Krum 변형은 복구 성질을 유지하면서도 학습 효율성을 향상시킬 수 있는가?

주요 결과

• 선형 조합으로 구성된 워커 업데이트는 단 한 명의 바르비셔안 워커가 존재할 경우 평균을 임의로 왜곡시킬 수 있으므로, 이를 견디지 못한다.
• Krum은 다른 모든 벡터와 가장 가까운 기울기 벡터를 선택함으로써, 바르비셔안 워커로 인한 이질적 값을 효과적으로 걸러내어 수렴을 보장한다.
• Krum의 시간 복잡도는 $ O(n^2(d + \log n)) $이며, 중간 정도의 n에 대해서는 실현 가능하지만 워커 수에 따라 제곱적으로 증가한다.
• 큰 n에 대해 m-Krum 함수는 $ (\alpha, f) $-바르비셔안 저항성을 가지며, 여기서 $ \sin\alpha = \frac{\eta(n,f)\sqrt{d}\sigma}{\|g\|} $이다. 이는 업데이트 방향이 여전히 진짜 기울기와 일치함을 보장한다.
• 복구 성질의 하한은 노이즈 크기 $ \sqrt{d}\sigma $와 진짜 기울기 노름 $ \|g\| $의 비율에 의존하며, 이 비율이 작을수록 더 강한 복구 성질을 확보할 수 있다.
• 논문은 이론적 경계 $ 2f + 2 < n $ 가 최적인지 여부, 그리고 확장성 향상을 위해 $ \eta(n,f) = O(n) $ 요소를 줄일 수 있는지 여부를 열려 있는 문제로 남긴다.