[논문 리뷰] Zeno: Distributed Stochastic Gradient Descent with Suspicion-based Fault-tolerance

Cong Xie, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2018. 05. 25.

Stochastic Gradient Optimization Techniques인용 수 83

한 줄 요약

Zeno는 임의의 다수의 고장난 워커를 허용하는 의심 기반의 분산 SGD 규칙을 도입하며, 적어도 하나의 비고장 워커만 필요하고, 비볼록 목표 함수에 대한 수렴을 증명한다.

ABSTRACT

We present Zeno, a technique to make distributed machine learning, particularly Stochastic Gradient Descent (SGD), tolerant to an arbitrary number of faulty workers. Zeno generalizes previous results that assumed a majority of non-faulty nodes; we need assume only one non-faulty worker. Our key idea is to suspect workers that are potentially defective. Since this is likely to lead to false positives, we use a ranking-based preference mechanism. We prove the convergence of SGD for non-convex problems under these scenarios. Experimental results show that Zeno outperforms existing approaches.

연구 동기 및 목표

• 다수의 고장 가정을 넘어서는 내결함 분산 SGD를 고무한다.
• Byzantine 유사 오류를 처리하기 위한 의심 기반 집계 메커니즘을 개발한다.
• 임의의 고장 패턴 하에서 비볼록 목표에 대한 SGD의 수렴을 증명한다.
• 표준 벤치마크 및 분리된 데이터 설정에서 경험적 강건성과 실용성을 입증한다.

제안 방법

• 각 후보 그래디언트를 의심으로 간주하고 확률적 제로차 오라클을 사용해 점수를 매긴다.
• 추정된 손실 하강과 업데이트 크기를 결합한 확률적 descendant 점수를 정의한다.
• 점수에 따라 그래디언트 추정치를 순위 매긴 뒤, 상위 m-b 개 추정치를 Zeno_b로 집계한다.
• 일정 조건에서 고장 없는 분산 SGD와 동일한 점근 속도를 보이는 수렴 보장을 증명한다.
• 시간 복잡성을 분석하고 Mean, Median, Krum 등의 기본 방법과 비교한다.
• 워커 간에 분리된 비동일 분포 데이터에 대한 분석을 확장한다.

실험 결과

연구 질문

• RQ1 적어도 하나가 비고장인 경우, 임의 수의 워커가 고장 나더라도 비볼록 목표에 대해 SGD가 수렴할 수 있는가?
• RQ2 의심 기반 집계(Zeno)가 Byzantine 유사 고장 하에서 고장 없는 SGD에 버금가는 수렴 속도를 달성하는가?
• RQ3 다양한 고장 모델과 데이터 분포 하에서 Zeno가 기존의 강건한 집계와 비교해 경험적으로 어떻게 작동하는가?

주요 결과

• Zeno는 고장 없이 분산 동기식 SGD와 동일한 점근 시간 복잡도로 수렴한다.
• 고장이 존재할 때 Zeno가 기준선보다 우수하다는 경험적 결과가 나타나며, 라벨 플립 및 비트 플립 시나리오를 포함한다.
• Zeno는 워커 간에 분리된 로컬 데이터에서도 효과적이며, n_r, ρ, 및 b와 같은 하이퍼파라미터 선택에 대해 강건하다.
• 본 방법은 절반을 넘는 이상 그래디언트를 허용하고, 일부 기준선이 실패하는 경우에도 안정성을 유지한다.
• 고장이 지배적이지 않을 때 Zeno의 성능은 고장 없는 SGD에 거의 접근하며, 여러 고장 시나리오에서 Krum보다 우수할 수 있다.