[논문 리뷰] Zeno++: robust asynchronous SGD with arbitrary number of Byzantine workers.

Cong Xie|arXiv (Cornell University)|2019. 03. 17.

Distributed systems and fault tolerance참고 문헌 8인용 수 8

한 줄 요약

Zeno++는 일반적인 장애 모델 하에서 무제한의 바르타이니안 워커에 견딜 수 있는 강력한 비동기 SGD 프레임워크를 제안한다. 이는 기울기 필터링과 적응형 공감 메커니즘을 활용하여 임의의 워커 행동에도 불구하고 수렴을 보장함으로써 악성 또는 고장난 워커가 있는 환경에서도 안정적인 훈련을 가능하게 한다.

ABSTRACT

We propose Zeno++, a new robust asynchronous synchronous Stochastic Gradient Descent~(SGD) under a general Byzantine failure model with unbounded number of Byzantine workers.

연구 동기 및 목표

• 심층 신경망을 탈중앙화된 시스템에서 훈련하는 데 있어 무제한의 워커가 악성으로 행동하거나 예측 불가능하게 고장날 수 있는 문제를 해결하기 위해.
• 일반적인 바르타이니안 장애 모델 하에서도 수렴성과 강건성을 유지하는 비동기 SGD 알고리즘을 설계하기 위해.
• 신뢰할 수 없거나 악성 워커가 있는 실제 분산 학습 시스템에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• Zeno++는 바르타이니안 워커로부터 악성 또는 손상된 기울기를 식별하고 억제하는 새로운 기울기 필터링 메커니즘을 적용한다.
• 신뢰할 수 있는 기울기만을 집계하기 위해 적응형 공감 프로토콜을 사용하여, 최대 n-1명의 워커가 바르타이니안일 경우에도 수렴을 보장한다.
• 알고리즘은 워커 간 기울기 일관성에 기반해 집계 가중치를 동적으로 조정함으로써 이방성의 영향을 줄인다.
• 완전한 비동기성을 지원하여 워커가 다른 워커를 기다리지 않고도 파라미터를 업데이트할 수 있어 훈련 효율성을 향상시킨다.
• 사전에 고장난 워커의 수를 알 필요 없이 바르타이니안에 강건한 집계 규칙을 통합한다.
• 표준 확률적 최적화 가정 하에서도 무제한의 바르타이니안 행동이 있는 상황에서도 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 무제한의 워커가 바르타이니안 행동을 보일 경우 비동기 SGD가 수렴성과 강건성을 유지할 수 있는가?
• RQ2 고장난 워커의 수를 사전에 알지 못한 채로도 신뢰할 수 있는 기울기 집계를 어떻게 달성할 수 있는가?
• RQ3 어떤 메커니즘이 임의의 워커 장애나 악성 행동이 있는 탈중앙화 시스템에서 안정적인 훈련을 가능하게 하는가?
• RQ4 Zeno++는 존재하는 바르타이니안에 강건한 SGD 방법들과 비교해 수렴 속도와 고장 내성 측면에서 어떻게 성능을 냈는가?

주요 결과

• Zeno++는 일반적인 바르타이니안 장애 모델 하에서도 무제한의 고장난 워커가 있는 상황에서도 정류점으로의 수렴을 달성한다.
• 실험 결과, 최대 50%의 워커가 바르타이니안일 경우에도 높은 훈련 정확도와 안정성을 유지한다.
• 기울기 필터링과 적응형 공감은 악성 업데이트의 영향을 크게 줄여 모델 성능을 유지한다.
• Zeno++는 악성 조건 하에서도 기준 강건한 SGD 방법들보다 수렴 속도와 강건성 측면에서 뛰어난 성능을 보였다.
• 신뢰할 수 없거나 악성 워커가 있는 실제 분산 학습 시스템에서의 실용적 구현을 가능하게 한다.