[논문 리뷰] Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity

Youssef Allouah, Sadegh Farhadkhani외 4명|arXiv (Cornell University)|2023. 02. 03.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 데이터 이질성 하에서 바이진티니스에 강건한 분산 기계학습을 향상시키는 사전 집계 기법인 근접 이웃 혼합(Nearest Neighbor Mixing, NNM)을 소개한다. 각 워커의 그래디언트를 그의 근접 이웃들과 평균화하여 분산과 이탈을 감소시킴으로써, 표준 강건한 집계 규칙이 최적의 바이진티니스 강건성을 달성할 수 있도록 한다. 이는 D-GD와 D-SHB 모두에서 기대값으로 이론적 하한선에 도달하며, 이전 방법들보다 경험적으로 뛰어나다.

ABSTRACT

Byzantine machine learning (ML) aims to ensure the resilience of distributed learning algorithms to misbehaving (or Byzantine) machines. Although this problem received significant attention, prior works often assume the data held by the machines to be homogeneous, which is seldom true in practical settings. Data heterogeneity makes Byzantine ML considerably more challenging, since a Byzantine machine can hardly be distinguished from a non-Byzantine outlier. A few solutions have been proposed to tackle this issue, but these provide suboptimal probabilistic guarantees and fare poorly in practice. This paper closes the theoretical gap, achieving optimality and inducing good empirical results. In fact, we show how to automatically adapt existing solutions for (homogeneous) Byzantine ML to the heterogeneous setting through a powerful mechanism, we call nearest neighbor mixing (NNM), which boosts any standard robust distributed gradient descent variant to yield optimal Byzantine resilience under heterogeneity. We obtain similar guarantees (in expectation) by plugging NNM in the distributed stochastic heavy ball method, a practical substitute to distributed gradient descent. We obtain empirical results that significantly outperform state-of-the-art Byzantine ML solutions.

연구 동기 및 목표

• 데이터 이질성 하에서 바이진티니스 기계학습의 이론적 격차를 메우기 위해, 이전 방법들이 최적의 강건성을 달성하지 못하는 문제를 해결하기 위해.
• 데이터 이질성이 바이진티니스 행동을 가리켜, 비정상적인 외곽값과 구분하기 어려운 문제를 해결하기 위해.
• 기존 동일한 조건 하의 바이진티니스 기계학습 솔루션을 이질적 환경에 자동으로 적응시킬 수 있는 메커니즘을 설계하기 위해.
• NNM가 이질성 하에서 표준 강건한 집계 규칙이 최적의 수렴 보장을 달성할 수 있음을 보여주기 위해.
• 경험적으로 NNM를 강화한 D-SHB가 기대값으로 이론적 하한선에 도달하고 최첨단 접근법을 능가함을 입증하기 위해.

제안 방법

• 근접 이웃 유사도를 기반으로 각 워커의 그래디언트와 그의 k개 근접 이웃의 그래디언트를 가중 평균하는 사전 집계 방법인 근접 이웃 혼합(Nearest Neighbor Mixing, NNM)을 제안한다.
• f개의 바이진티니스 워커가 존재할 때, 정상 워커의 입력 평균을 얼마나 잘 추정하는지 측정하기 위해 새로운 강건성 기준인 $(f,\kappa)$-강건성 도입.
• NNM이 정상 그래디언트의 분산을 $\mathcal{O}(f/n)$의 요소로 감소시켜, 어떤 $(f,\mathcal{O}(1))$-강건 집계 규칙이라도 최적의 강건성을 달성할 수 있음을 증명.
• 분산 기울기 하강(D-GD)과 분산 스토하스틱 헤비볼(D-SHB) 방법 양쪽에 NNM를 적용하여, 이론적 하한선에 해당하는 근사 정적점으로 수렴함을 보장.
• MNIST, 패션-MNIST, CIFAR-10에서 다양한 바이진티니스 및 이질성 환경 하에서 여러 집계 규칙(Krum, GM, CWMed, CWTM)을 사용해 NNM의 경험적 평가.
• 합성 공격(FOE, ALIE, Mimic, SF, LF)과 $\alpha$ 파rameter를 통한 제어된 데이터 이질성 조건을 조합하여 강건성과 수렴 성능 평가.

실험 결과

연구 질문

• RQ1 기존의 바이진티니스 강건 집계 규칙은 데이터 이질성 하에서도 최적의 강건성을 달성하도록 적응시킬 수 있는가?
• RQ2 NNM과 같은 사전 집계 기법이 바이진티니스 그래디언트 집계에 대한 데이터 이질성의 영향을 실제로 줄일 수 있는가?
• RQ3 NNM는 표준 강건 집계 규칙이 이질성 하에서 이론적 하한선에 도달하는 데 도움이 될 수 있는가?
• RQ4 NNM와 D-SHB의 조합은 스트로스틱 그래디언트와 데이터 샘플링이 존재하는 상황에서도 기대값으로 최적의 수렴을 달성할 수 있는가?
• RQ5 다양한 공격 및 이질성 설정 하에서 NNM는 Bucketing과 일반적인 강건 집계 방법보다 경험적으로 어떻게 비교되는가?

주요 결과

• NNM는 데이터 이질성 하에서 어떤 $(f,\mathcal{O}(1))$-강건 집계 규칙이라도 최적의 바이진티니스 강건성을 달성할 수 있으며, 이론적 하한선 수준의 수렴 오차를 달성한다.
• NNM로 강화된 D-GD 변형은 결정론적 설정에서 최적의 수렴을 달성하며, 오차는 $f \cdot \text{max dispersion} / n$로 제한된다.
• 스토하스틱 설정에서는 NNM를 적용한 D-SHB가 기대값으로 하한선에 도달하며, 추가적인 난수 요소 없이도 이전의 랜덤화 방법보다 더 우수한 경험적 성능을 보인다.
• MNIST, 패션-MNIST, CIFAR-10에서의 경험적 결과는 NNM가 모든 공격 유형(FOE, ALIE, Mimic, SF, LF)과 이질성 수준($\alpha = 0.1, 1, 10$)에서 최첨단 방법들을 일관되게 능가함을 보여준다.
• 강력한 바이진티니스 환경(예: $f=6$ 중 $n=17$)에서도 NNM는 높은 정확도를 유지하는 반면, Bucketing은 일반적인 집계로 떨어지며, 이는 NNM이 고수준의 적대적 환경에서의 우수성을 보여준다.
• 이 방법은 다양한 데이터셋과 집계 규칙에 대해 강건하며, 이질적 데이터를 포함한 실세계 분산 학습 환경에서의 일반화 가능성과 실용성을 입증한다.