[논문 리뷰] Byzantine Resilient Non-Convex SVRG with Distributed Batch Gradient Computations

Prashant Khanduri, Saikiran Bulusu외 2명|arXiv (Cornell University)|2019. 12. 10.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 10

한 줄 요약

이 논문은 분산 배치 그래디언트 계산을 통한 베즈란티언-내성 비볼록 SVRG 알고리즘을 제안한다. 여기서 워커 노드는 배치 그래디언트를 계산하고 서버는 스 tochastic 그래디언트를 계산한다. 이 알고리즘은 $\epsilon$-정류점에 도달하기 위해 기대 그래디언트 복잡도 $\tilde{O}\left(\frac{1}{\epsilon^{5/3}K^{2/3}} + \frac{\alpha^{4/3}}{\epsilon^{5/3}}\right)$ 를 달성하며, 최대 $\alpha$-분율의 베즈란티언 노드가 존재하는 상황에서 이전의 비율보다 향상된 성능을 보인다.

ABSTRACT

In this work, we consider the distributed stochastic optimization problem of minimizing a non-convex function $f(x) = \mathbb{E}_{ξ\sim \mathcal{D}} f(x; ξ)$ in an adversarial setting, where the individual functions $f(x; ξ)$ can also be potentially non-convex. We assume that at most $α$-fraction of a total of $K$ nodes can be Byzantines. We propose a robust stochastic variance-reduced gradient (SVRG) like algorithm for the problem, where the batch gradients are computed at the worker nodes (WNs) and the stochastic gradients are computed at the server node (SN). For the non-convex optimization problem, we show that we need $ ilde{O}\left( \frac{1}{ε^{5/3} K^{2/3}} + \frac{α^{4/3}}{ε^{5/3}} ight)$ gradient computations on average at each node (SN and WNs) to reach an $ε$-stationary point. The proposed algorithm guarantees convergence via the design of a novel Byzantine filtering rule which is independent of the problem dimension. Importantly, we capture the effect of the fraction of Byzantine nodes $α$ present in the network on the convergence performance of the algorithm.

연구 동기 및 목표

• 최대 $\\alpha$-분율의 노드가 베즈란티언일 수 있는 악성 조건 하에서 분산 비볼록 최적화 문제를 다루는 것.
• 비볼록 환경에서 베즈란티언 노드의 행동에도 불구하고 수렴 보장을 유지하는 강건한 알고리즘을 설계하는 것.
• 워커 노드에 배치 그래디언트 계산을 위탁하여 서버의 계산 부담을 줄이는 것.
• 차원에 독립적인 베즈란티언 필터링 규칙을 개발하여 좌표별 연산 없이도 수렴을 보장하는 것.
• 베즈란티언 공격 하에서 기존 방법에 비해 향상된 분산 비볼록 최적화의 상태 기준 수렴 속도를 향상시키는 것.

제안 방법

• 알고리즘은 워커 노드(WNs)가 배치 그래디언트 $\\mu_t^{(k)}$ 를 계산하고 서버 노드(SN)가 스 tochastic 그래디언트를 계산하는 SVRG의 변종을 사용한다.
• 새로운 베즈란티언 필터링 규칙은 쌍별 거리 임계값 $\\mathfrak{T}_\mu$ 와 $\\mathcal{V}$ 를 기반으로 중앙값 그래디언트 추정치 $\\mu_t^{\text{med}}$ 를 선택하며, 이는 비-베즈란티언 워커의 신뢰할 수 있는 집합 $\\mathcal{G}_t$ 를 형성한다.
• 초기 집합 $\\mathcal{G}_t$ 가 $(1 - \alpha)K$ 개 이하의 노드를 포함할 경우, 집합을 확장하기 위해 유연한 임계값 $2\\mathcal{V}$ 를 사용하여 $|\\mathcal{G}_t| \geq (1 - \alpha)K$ 가 되도록 보장한다.
• 서버는 $\\mu_t = \frac{1}{|\\mathcal{G}_t|} \sum_{k \in \\mathcal{G}_t} \mu_t^{(k)}$ 를 사용하여 그래디언트를 집계하여 진정한 그래디언트의 강건한 추정치를 형성한다.
• 내부 루프 반복 수 $N_t \sim \text{Geom}(B / (B + 1))$ 는 분산 감소된 스 tochastic 업데이트 $x_n^t = x_{n-1}^t - \eta_t v_{n-1}^t$ 를 계산하는 데 사용되며, 여기서 $v_{n-1}^t = \nabla f(x_{n-1}^t; \xi_{n-1}^t) - \nabla f(x_0^t; \xi_{n-1}^t) + \mu_t$ 이다.
• 최종 출력 $\\tilde{x}_a$ 는 반복 시퀀스 $\\{\\tilde{x}_t\\}_{t=1}^T$ 에서 균일한 랜덤 샘플이다.

실험 결과

연구 질문

• RQ1 분산 최적화에서 베즈란티언 노드에 대해 비볼록 SVRG 기반 알고리즘을 내성적으로 만들 수 있는가?
• RQ2 베즈란티언 노드의 비율 $\alpha$ 는 분산 비볼록 최적화의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 문제의 차원 $d$ 에 독립적인 베즈란티언 필터링 규칙을 설계할 수 있는가?
• RQ4 워커 노드에 배치 그래디언트 계산을 위탁하는 것이 수렴 효율성을 향상시키면서도 강건성을 유지할 수 있는가?
• RQ5 베즈란티언 노드 존재 하에서 기존 방법에 비해 수렴 속도를 향상시킬 수 있는가?

주요 결과

• 알고리즘은 각 노드에서 $\epsilon$-정류점에 도달하기 위해 기대 그래디언트 계산 복잡도 $\tilde{O}\left(\frac{1}{\epsilon^{5/3}K^{2/3}} + \frac{\alpha^{4/3}}{\epsilon^{5/3}}\right)$ 를 달성한다.
• $\alpha = 0$ 일 경우, 복잡도는 $O\left(\frac{1}{\epsilon^{5/3}K^{2/3}}\right)$ 로 감소하며, 이는 분산 비볼록 최적화에서 기존에 알려진 최고 수준의 비율인 $O\left(\frac{1}{\epsilon^2 K}\right)$ 보다 향상된 성능을 보인다.
• 제안된 베즈란티언 필터링 규칙은 차원에 독립적이며 좌표별 연산을 피하므로 고차원 문제에 적합하다.
• 알고리즘은 최대 $\alpha < \frac{1}{2}$ 의 노드가 베즈란티언일 경우에도 수렴을 유지하며, 수렴 속도는 명시적으로 $\alpha$ 에 의존한다.
• 이론적 분석은 분산 감소 메커니즘이 강건한 집계와 결합되어 비볼록 目적 함수 하에서도 수렴을 보장함을 보여준다.
• 서버에서만 실행될 경우 알고리즘이 기존의 최고 수준의 비율 $O\left(\frac{1}{\epsilon^{5/3}}\right)$ 와 일치함을 확인하여 단일 노드 비볼록 SVRG와의 일致성을 입증한다.