[논문 리뷰] Approximate Byzantine Fault-Tolerance in Distributed Optimization

Shuo Liu, Nirupam Gupta외 1명|arXiv (Cornell University)|2021. 01. 22.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 분산 최적화에서 정확한 바르비안트 장애에 대한 내성성을 완화하는 $(f,\epsilon)$-내성성이라는 개념을 제안한다. 이는 최대 $f$개의 에이전트가 임의로 행동하더라도 비고장 에이전트가 그들의 집합 비용 함수의 $\epsilon$-근사 최소값으로 수렴할 수 있도록 보장한다. 좌표별 잘라내기 평균(CWTM)과 비교적 기울기 제거(CGE)와 같은 강건한 기울기 집계 방법을 활용함으로써, 정확한 장애 내성성에 요구되는 것보다 더 약한 재현 조건에서도 수렴을 달성할 수 있으며, 이는 MNIST와 Fashion-MNIST에서 실험을 통해 검증되었다. 여기서 10개의 에이전트 중 3개가 바르비안트 장애를 일으켰다.

ABSTRACT

This paper considers the problem of Byzantine fault-tolerance in distributed multi-agent optimization. In this problem, each agent has a local cost function, and in the fault-free case, the goal is to design a distributed algorithm that allows all the agents to find a minimum point of all the agents' aggregate cost function. We consider a scenario where some agents might be Byzantine faulty that renders the original goal of computing a minimum point of all the agents' aggregate cost vacuous. A more reasonable objective for an algorithm in this scenario is to allow all the non-faulty agents to compute the minimum point of only the non-faulty agents' aggregate cost. Prior work shows that if there are up to $f$ (out of $n$) Byzantine agents then a minimum point of the non-faulty agents' aggregate cost can be computed exactly if and only if the non-faulty agents' costs satisfy a certain redundancy property called $2f$-redundancy. However, $2f$-redundancy is an ideal property that can be satisfied only in systems free from noise or uncertainties, which can make the goal of exact fault-tolerance unachievable in some applications. Thus, we introduce the notion of $(f,ε)$-resilience, a generalization of exact fault-tolerance wherein the objective is to find an approximate minimum point of the non-faulty aggregate cost, with $ε$ accuracy. This approximate fault-tolerance can be achieved under a weaker condition that is easier to satisfy in practice, compared to $2f$-redundancy. We obtain necessary and sufficient conditions for achieving $(f,ε)$-resilience characterizing the correlation between relaxation in redundancy and approximation in resilience. In case when the agents' cost functions are differentiable, we obtain conditions for $(f,ε)$-resilience of the distributed gradient-descent method when equipped with robust gradient aggregation.

연구 동기 및 목표

• 정확한 바르비안트 장애 내성성의 한계를 해결하기 위해, 이는 엄격한 $2f$-재현 조건을 요구하며, 노이즈가 많거나 불확실한 시스템에서는 종종 달성하기 어려운 바.
• 비고장 에이전트가 자신의 집합 비용 함수의 $\epsilon$-근사 최소값을 향해 수렴하도록 하는 실용적인 장애 내성성의 완화를 제안하기 위해.
• $(f,\epsilon)$-내성성 달성을 위한 필수 및 충분 조건을 규명하고, 근사 허용 오차 $\epsilon$와 재현 요구 조건의 감소를 연결하기 위해.
• 실제 기계 학습 작업에서 $(f,\epsilon)$-내성성을 달성하는 데 효과적인 강건한 기울기 집계 방법(CWTM 및 CGE)의 성능을 입증하기 위해.

제안 방법

• 비고장 에이전트의 집합 비용 함수의 진정한 최소값에서 $\epsilon$ 이내의 점을 찾는 것을 목표로 하는 $(f,\epsilon)$-내성성의 개념을 도입한다.
• 재현 조건의 완화와 근사 허용 오차 사이의 상관관계를 분석함으로써 $(f,\epsilon)$-내성성에 대한 필수 및 충분 조건을 유도한다.
• 특히 좌표별 잘라내기 평균(CWTM)과 비교적 기울기 제거(CGE)를 포함한 강건한 기울기 집계 기법을 적용하여 분산 기울기 하강법에서 악성 기울기를 걸러내는 데 사용한다.
• 에이전트들이 이웃의 필터링된 기울기를 사용해 로컬 모델을 반복적으로 업데이트하는 분산 기울기 하강(DGD) 프레임워크를 활용한다.
• Google 클라우드에서 PyTorch와 MPI4py를 사용해 구축한 시뮬레이터를 활용하여, $n=10$, $f=3$ 및 라벨 뒤집기 및 기울기 반전 두 가지 유형의 장애를 가진 MNIST와 Fashion-MNIST에서 성능을 평가한다.
• 1,000회 반복 동안 교차 엔트로피 손실과 모델 정확도를 측정하여, 장애 없는 D-SGD 및 다양한 기울기 필터 간의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 정확한 최소값 계산이 $2f$-재현 조건이 부족하여 불가능한 상황에서 분산 최적화에서 바르비안트 장애 내성성을 달성할 수 있는가?
• RQ2 바르비안트 장애 하에서 $\epsilon$-근사 해로의 수렴을 보장하기 위해 필요한 최소 재현 조건은 무엇인가?
• RQ3 CWTM 및 CGE와 같은 강건한 기울기 집계 방법은 최대 $f$개의 에이전트가 임의 또는 손상된 기울기를 전송할 경우에도 수렴을 유지하는 데 얼마나 효과적인가?
• RQ4 근사 오차 $\epsilon$는 에이전트의 비용 함수에서의 재현 수준에 얼마나 의존하는가?
• RQ5 제안된 $(f,\epsilon)$-내성성 프레임워크는 바르비안트 에이전트가 존재하는 실세계 기계 학습 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 $(f,\epsilon)$-내성성 프레임워크는 정확한 장애 내성성에 요구되는 것보다 훨씬 약한 재현 조건에서도 비고장 에이전트의 집합 비용 함수의 $\epsilon$-근사 최소값으로의 수렴을 가능하게 한다.
• MNIST와 Fashion-MNIST에서의 실험 결과, CWTM 및 CGE 기울기 필터 모두 10개의 에이전트 중 3개가 바르비안트 장애를 일으켜도 장애 없는 기준선과 유사한 훈련 손실과 정확도를 달성한다.
• 라벨 뒤집기 장애 하에서 CWTM는 더 안정적인 성능을 보이며, 기울기 반전 공격 하에서는 CGE가 더 뛰어난 내성성을 보여, 필터 유형에 따라 장애 유형에 대한 특화된 내성성의 존재를 시사한다.
• 이론적 분석은 경험적으로 검증되었으며, 반복적 추정치는 진정한 최소값 주변의 유계 영역으로 수렴하며, 이는 $\epsilon$-근사 보장와 일치한다.
• 바르비안트 영향을 받은 훈련과 장애 없는 훈련 간의 성능 격차는 작아, 이 프레임워크가 분산 학습 시스템에서 실용적인 구현에 적합함을 시사한다.
• 경험적 결과는 실질적인 기계 학습 문제에서 재현이 존재함을 확인하며, 제안된 접근의 실현 가능성을 뒷받침한다.