[논문 리뷰] Randomized Reactive Redundancy for Byzantine Fault-Tolerance in Parallelized Learning

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|2019. 12. 19.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 병렬화된 확률적 경사하강법(SGD)에서 바르자인트 결함에 대한 난수 기반 반응형 부가성 기반 기법을 제안하며, 최대 $ f < n/2 $명의 바르자인트 워커가 존재하더라도 정확한 최소점 수렴을 가능하게 한다. 손실 및 신뢰성 지표를 바탕으로 고장을 적응적으로 검출하고 간헐적으로 결함 탐지 코드를 적용함으로써, 최적의 예상 계산 효율성을 확보하면서도 강건성과 수렴성을 보장한다.

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in synchronous parallelized learning that is founded on the parallelized stochastic gradient descent (parallelized-SGD) algorithm. The system comprises a master, and $n$ workers, where up to $f$ of the workers are Byzantine faulty. Byzantine workers need not follow the master's instructions correctly, and might send malicious incorrect (or faulty) information. The identity of the Byzantine workers remains fixed throughout the learning process, and is unknown a priori to the master. We propose two coding schemes, a deterministic scheme and a randomized scheme, for guaranteeing exact fault-tolerance if $2f &lt; n$. The coding schemes use the concept of reactive redundancy for isolating Byzantine workers that eventually send faulty information. We note that the computation efficiencies of the schemes compare favorably with other (deterministic or randomized) coding schemes, for exact fault-tolerance.

연구 동기 및 목표

• 악성 기울기(gradient)를 전송할 수 있는 바르자인트 워커로 인한 병렬화된 SGD의 취약성을 해결하기 위해.
• 최대 $ f < n/2 $명의 워커가 바르자인트일 경우에도 정확한 최소점 수렴을 보장하는 결함내성 학습 프레임워크를 설계하기 위해.
• 분산 학습 환경에서 기존의 코드 기반 결함내성 기법보다 계산 효율성을 향상시키기 위해.
• 결함 탐지 비용과 학습 수렴 속도 사이의 트레이드오프를 적응적이고 난수 기반의 검사로 최적화하기 위해.

제안 방법

• 기울기 기호의 부가성을 이용해 결함을 탐지하고 선형 조합을 통해 바르자인트 워커를 식별하는 결정론적 코드 기법을 도입한다.
• 결함 탐지 코드를 난수로 선택된 반복에만 적용함으로써 계산 오버헤드를 감소시키는 난수 기반 기법을 제안한다.
• 관측된 손실 $ \ell_t $, 추정된 신뢰성 $ \kappa_t $, 바르자인트 확률 $ p $ 를 바탕으로 적응적인 결함검사 확률 $ q_t^* $ 를 설정하여 효율성과 결함 탐지 사이의 균형을 이룬다.
• 최적의 결함검사 빈도를 계산하기 위해 확률 모델을 사용하여 예상 계산 비용을 최소화하면서도 수렴성을 유지한다.
• 더 넓은 적용성을 위해 기울기 필터링 및 통신 효율적인 압축 기법과 통합한다.
• 신뢰성 점수를 활용한 선택적 검증을 통해 분산 데이터 설정으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 난수 기반 반응형 부가성 메커니즘은 결정론적 기법보다 더 높은 계산 효율성을 확보하면서도 병렬화된 SGD에서 정확한 바르자인트 결함내성 달성 가능할까?
• RQ2 결함검사 빈도는 어떻게 적응적으로 최적화할 수 있을까? 이는 탐지 정확도와 계산 비용 사이의 균형을 맞추기 위함이다.
• RQ3 바르자인트 워커 존재 시 결함 탐지 오버헤드와 수렴 속도 사이의 최적 트레이드오프는 무엇인가?
• RQ4 이 기법은 압축된 기울기와 분산 데이터 분할 환경에서도 적용 가능할 수 있는가?
• RQ5 효율성과 강건성 측면에서 이 기법의 성능은 결정론적 코드 및 기존 기울기 필터링 기법과 비교해 어떻게 다를까?

주요 결과

• 난수 기반 코드 기법은 최적의 예상 계산 효율성을 확보하며, 결정론적 기법과 기존 결함정정 코드를 능가한다.
• 기본 조건인 $ 2f < n $ 를 만족할 경우 정확한 결함내성 보장을 확보하며, 바르자인트 동작이 존재하더라도 최소점으로의 수렴을 보장한다.
• 손실 및 신뢰성 지표를 기반으로 한 적응적 결함검사로 불필요한 검사를 줄여 효율성을 향상시키면서도 수렴성을 훼손하지 않는다.
• 마스터가 잠재적으로 고장 난 워커로부터 온 근사 손실 값을 사용하더라도, 잘라낸 평균 또는 잘라낸 평균 추정을 통해 강건성을 유지한다.
• 기울기 필터링 및 통신 효율적인 압축 기법과의 통합을 통해 실제 분산 학습 시스템에서의 광범위한 구현이 가능해진다.
• 신뢰성 점수와 난수 기반 검사를 통해 마스터가 데이터 포인트를 선택적으로 검증할 수 있어, 분산 데이터 프레임워크로의 일반화가 가능하다.