[논문 리뷰] Byzantine-Robust Variance-Reduced Federated Learning over Distributed Non-i.i.d. Data

Jie Peng, Zhaoxian Wu외 2명|arXiv (Cornell University)|2020. 09. 17.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 7

한 줄 요약

이 논문은 비잔틴 공격에 강건한 분산 학습 방법을 제안하며, 비독립 동일 분포(non-i.i.d.) 환경에서 내부 및 외부 데이터 이질성에 기인한 영향을 줄이기 위해 재표본 전략과 SAGA 기반 분산 감소 기법을 활용한다. 이후 강력한 기하 평균 집계를 수행한다. 이는 최적 해의 이웃으로 선형 수렴를 달성하며, 학습 오차는 비잔틴 워커 수에 의해 명시적으로 경계된다. 비독립 동일 분포 환경에서 최신 기술 대비 뛰어난 성능을 보인다.

ABSTRACT

We consider the federated learning problem where data on workers are not independent and identically distributed (i.i.d.). During the learning process, an unknown number of Byzantine workers may send malicious messages to the central node, leading to remarkable learning error. Most of the Byzantine-robust methods address this issue by using robust aggregation rules to aggregate the received messages, but rely on the assumption that all the regular workers have i.i.d. data, which is not the case in many federated learning applications. In light of the significance of reducing stochastic gradient noise for mitigating the effect of Byzantine attacks, we use a resampling strategy to reduce the impact of both inner variation (that describes the sample heterogeneity on every regular worker) and outer variation (that describes the sample heterogeneity among the regular workers), along with a stochastic average gradient algorithm to gradually eliminate the inner variation. The variance-reduced messages are then aggregated with a robust geometric median operator. We prove that the proposed method reaches a neighborhood of the optimal solution at a linear convergence rate and the learning error is determined by the number of Byzantine workers. Numerical experiments corroborate the theoretical results and show that the proposed method outperforms the state-of-the-arts in the non-i.i.d. setting.

연구 동기 및 목표

• 워커의 데이터가 비독립 동일 분포일 때 비잔틴 공격에 의해 표준 강력한 집계 규칙의 효과가 저하되는 문제를 해결하기 위해.
• 비독립 동일 분포 환경에서 내부 변동(각 워커 내 데이터 이질성)과 외부 변동(워커 간 이질성)으로 인한 확률적 경사하강법 노이즈를 줄이기 위해.
• 악성 메시지를 전송하는 알 수 없는 수의 비잔틴 워커가 존재하더라도 수렴성과 정확도를 유지할 수 있는 강력한 집계 메커니즘을 설계하기 위해.
• 비독립 동일 분포 데이터와 비잔틴 공격 하에서 이론적 수렴 보장을 확립하며, 비잔틴 워커 수에 명시적인 의존성을 가지기 위해.

제안 방법

• 각 정상 워커 내의 내부 변동(샘플 이질성)과 정상 워커 간의 외부 변동(이질성)이 확률적 경사하강법에 미치는 영향을 줄이기 위해 재표본 전략을 적용한다.
• 각 워커의 과거 경사하강법의 누적 평균을 유지하고 갱신함으로써 SAGA 알고리즘을 적용해 내부 변동을 완전히 제거한다.
• 각 정상 워커에 대해 분산 감소된 확률적 경사하강법 추정치를 사용하며, 이를 악성 메시지에 저항하기 위해 강력한 기하 평균 연산자로 집계한다.
• 수렴 분석을 위해 리아푸노프 함수를 도입하며, 최적 해와의 거리와 분산 감소 오차 항을 모두 포함한다.
• 기하 평균 집계를 통한 오차 전파를 제한함으로써 선형 수렴를 보장하는 스텝 사이즈 조건을 유도한다.
• 실제 구현에서 계산 비용과 강건성의 균형을 맞추기 위해 $\varepsilon$-근사 기하 평균을 사용하며, 이에 해당하는 오차 경계를 제공한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법이 비독립 동일 분포 데이터와 비잔틴 공격 상황에서 효과적으로 영향을 줄일 수 있는가?
• RQ2 재표본 전략과 SAGA 기반 분산 감소 기법의 조합이 비잔틴 워커 존재 시 비독립 동일 분포 환경에서 강건성과 수렴성을 향상시키는가?
• RQ3 비잔틴 공격과 비독립 동일 분포 데이터 하에서 분산 감소된 분산 학습 방법의 이론적 수렴 속도는 무엇인가?
• RQ4 제안된 프레임워크에서 학습 오차는 비잔틴 워커 수에 따라 어떻게 변화하는가?
• RQ5 제안된 방법이 비독립 동일 분포 데이터 환경에서 기존 최신 기술 대비 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 비독립 동일 분포 데이터와 비잔틴 공격 하에서도 최적 해의 이웃으로 선형 수렴를 달성한다.
• 학습 오차는 비잔틴 워커 수에 의해 명시적으로 경계되며, 오차 항은 $\mathcal{O}\left(\left(d + \frac{1-d}{R}\right)C_{s\alpha}^{2}\sigma^{2} + dC_{s\alpha}^{2}\delta^{2}\right)$ 의 형태로 스케일링된다.
• 이 방법은 볼록 및 비볼록 분산 학습 문제에서 최신 기술 대비 뛰어난 성능을 보이며, 특히 비독립 동일 분포 데이터 환경에서 두각을 나타낸다.
• 이론적 분석을 통해 스텝 사이즈 조건 $\gamma \leq \frac{\mu}{2\sqrt{10}J^{2}L^{2}C_{s\alpha}}$ 가 선형 수렴를 보장하며 오차가 기하급수적으로 감소함을 확인하였다.
• 수치 실험을 통해 이론적 결과를 검증하였으며, 분산 감소 기법이 비잔틴 공격 하에서도 강건성과 수렴 속도를 크게 향상시킴을 보였다.
• 분산 감소 이후 기하 평균 집계를 적용함으로써, 비잔틴 워커가 공모하고 있거나 전지적 지식을 확보하고 있더라도 악성 경사하강법의 영향을 효과적으로 억제함을 확인하였다.