[논문 리뷰] Defending Against Saddle Point Attack in Byzantine-Robust Distributed Learning

Dong Yin, Yudong Chen외 2명|arXiv (Cornell University)|2018. 06. 14.

Stochastic Gradient Optimization Techniques인용 수 47

한 줄 요약

ByzantinePGD를 도입한 강인한 일차 알고리즘으로, 비선형 분산 학습에서 Byzantine 워커가 만들어낸 사다리점(saddle points)과 가짜 로컬 미니마를 벗어나며 이론적 보장과 실용적인 강인한 그래디언트 추정기를 제공합니다.

ABSTRACT

We study robust distributed learning that involves minimizing a non-convex loss function with saddle points. We consider the Byzantine setting where some worker machines have abnormal or even arbitrary and adversarial behavior. In this setting, the Byzantine machines may create fake local minima near a saddle point that is far away from any true local minimum, even when robust gradient estimators are used. We develop ByzantinePGD, a robust first-order algorithm that can provably escape saddle points and fake local minima, and converge to an approximate true local minimizer with low iteration complexity. As a by-product, we give a simpler algorithm and analysis for escaping saddle points in the usual non-Byzantine setting. We further discuss three robust gradient estimators that can be used in ByzantinePGD, including median, trimmed mean, and iterative filtering. We characterize their performance in concrete statistical settings, and argue for their near-optimality in low and high dimensional regimes.

연구 동기 및 목표

• 비선형 손실에서 Byzantine 오류 하의 강인한 분산 최적화를 동기화합니다.
• 적대적 그래디언트에도 불구하고 사다리점에서 벗어나는 알고리즘을 개발합니다.
• 근사 로컬 최소점으로의 수렴에 대한 이론적 보장을 제시합니다(정확하지 않은 그래디언트 오라클 하에서).
• Byzantine 환경에 적합한 강인한 그래디언트 집계 방법을 제안하고 분석합니다.

제안 방법

• Delta-inexact 그래디언트를 얻기 위해 GradAGG 오라클을 통해 그래디언트를 집계하는 ByzantinePGD를 제안합니다.
• 사다리점을 탈출하고 가짜 로컬 미니마를 피하기 위해 이터레이션에 무작위 섭동을 도입합니다.
• 함수 값에 의존하기보다 정규화된 섭동과 거리 기반 탈출 기준의 다중 라운드를 사용합니다.
• 최적화(정확하지 않은 그래디언트 하강)와 통계(강인한 그래디언트 추정)로 구분된 2단계 프레임워크를 제공합니다.
• 비선형 문제에 대해 비 Byzantine GD에 근접한 반복 복잡도(로그 인자까지)로 iteration 복잡도를 대략적으로 매칭합니다.
• 세 가지 강인한 그래디언트 추정기(중앙값, 잘라내기 평균, 반복 필터링)가 구체적인 통계적 보장을 제공하는 방법을 보입니다.

실험 결과

연구 질문

• RQ1 Byzantine 워커가 있는 상황에서 통신 및 계산을 최소화하면서도 이론적으로 사다리점 탈출을 달성할 수 있는가?
• RQ2 강인한 그래디언트 집계 방법이 비정확한 그래디언트 오라클과 전반적 수렴성에 어떤 영향을 미치는가?
• RQ3 분산 비선형 최적화에서 Byzantine 적대자 하의 1차 및 2차 정지성에 대한 이론적 한계는 무엇인가?
• RQ4 중앙값, 잘라내기 평균, 반복 필터링은 Byzantine 오류하에서 고차원/저차원 환경에서 어떤 성능을 보이는가?
• RQ5 함수 값 평가를 요구하지 않고도 수렴 보장을 얻을 수 있는가?

주요 결과

• ByzantinePGD는 사다리점에서의 탈출과 Delta-inexact 그래디언트 오라클 하에서 근사 로컬 최소점으로의 수렴을 달성합니다.
• 이 알고리즘은 다중 섭동 라운드와 거리 기반 탈출 기준을 사용하여 이전의 PGD 변형들보다 해석이 단순합니다.
• 세 가지 강인한 집계 방식(중앙값, 잘라내기 평균, 반복 필터링)은 그래디언트 오차 Delta에 대해 구체적인 통계적 보장을 제공합니다.
• Delta-inexact 그래디언트에서, 이 방법은 퍼스트 오더 정지성에 도달하고 보완된 2차 조건에 도달하기 위해 O(1/Delta^2) 반복 복잡도를 달성합니다.
• 하한은 이 설정에서 Delta^1/2보다 상당히 나은 2차 보장을 달성할 수 있는 알고리즘이 없음을 시사합니다.
• 이 연구 결과는 Byzantine 분산 학습을 넘어서 비정형적 그래디언트로의 수렴 보장을 필요로 하는 비선형 최적화 일반 상황에도 확장됩니다(노이즈가 있지만 비적대적인 설정 포함).