[논문 리뷰] Byzantine Fault-Tolerance in Peer-to-Peer Distributed Gradient-Descent

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|2021. 01. 28.

Advanced Memory and Neural Computing참고 문헌 31인용 수 6

한 줄 요약

이 논문은 최대 f개의 에이전트가 임의로 행동하더라도, 모든 비고장 에이전트가 오직 자신의 집합 비용 함수의 최적 해에 수렴하도록 보장하는 베즈란티언 결함 내성 페어 투 페어 분산 그래디언트 디센트 알고리즘을 제안한다. 이 방법은 새로운 공감 메커니즘과 2f-과잉 조건에 기반하며, 점점 줄어드는 스텝 크기를 가정할 때 표준 가정 하에서 수렴성을 입증한다.

ABSTRACT

We consider the problem of Byzantine fault-tolerance in the peer-to-peer (P2P) distributed gradient-descent method -- a prominent algorithm for distributed optimization in a P2P system. In this problem, the system comprises of multiple agents, and each agent has a local cost function. In the fault-free case, when all the agents are honest, the P2P distributed gradient-descent method allows all the agents to reach a consensus on a solution that minimizes their aggregate cost. However, we consider a scenario where a certain number of agents may be Byzantine faulty. Such faulty agents may not follow an algorithm correctly, and may share arbitrary incorrect information to prevent other non-faulty agents from solving the optimization problem. In the presence of Byzantine faulty agents, a more reasonable goal is to allow all the non-faulty agents to reach a consensus on a solution that minimizes the aggregate cost of all the non-faulty agents. We refer to this fault-tolerance goal as $f$-resilience where $f$ is the maximum number of Byzantine faulty agents in a system of $n$ agents, with $f < n$. Most prior work on fault-tolerance in P2P distributed optimization only consider approximate fault-tolerance wherein, unlike $f$-resilience, all the non-faulty agents' compute a minimum point of a non-uniformly weighted aggregate of their cost functions. We propose a fault-tolerance mechanism that confers provable $f$-resilience to the P2P distributed gradient-descent method, provided the non-faulty agents satisfy the necessary condition of $2f$-redundancy, defined later in the paper. Moreover, compared to prior work, our algorithm is applicable to a larger class of high-dimensional convex distributed optimization problems.

연구 동기 및 목표

• 페어 투 페어 분산 그래디언트 디센트에서 고장 난 에이전트가 최적화를 방해하기 위해 임의의 또는 일관되지 않은 데이터를 전송할 수 있는 상황에서의 베즈란티언 결함 내성 문제를 다루기 위해.
• 정확한 결함 내성—즉, f-내성으로 정의된 바에 따라, 최대 f명의 베즈란티언 에이전트가 존재하더라도 비고장 에이전트가 자신의 집합 비용 함수의 진정한 최소값에 수렴하도록 보장하기 위해.
• 이전의 근사 해에 그치지 않고, 반드시 충분한 조건인 2f-과잉 조건을 만족할 경우 정확한 수렴까지 확장하는 결함 내성 기법을 개발하기 위해.
• 기존 연구에서 다루지 못한 고차원 볼록 최적화 문제의 더 넓은 범주에 적용 가능한 알고리즘을 확보하기 위해.

제안 방법

• 악성 업데이트를 걸러내기 위해 공감 메커니즘을 통합한 수정된 페어 투 페어 분산 그래디언트 디센트 알고리즘을 도입한다.
• 수렴성을 분석하기 위해 $ V^t $라는 리아푸노프 유사 함수를 사용하며, 이는 비고장 에이전트의 추정치가 진정한 최적점 $ x^* $ 로부터의 제곱 편차의 합으로 정의된다.
• 점점 줄어드는 스텝 크기 $ \eta_t $ 를 사용하며, $ \sum_{t=0}^\infty \eta_t = \infty $ 이고 $ \sum_{t=0}^\infty \eta_t^2 < \infty $ 를 만족시켜 수렴성을 확보하면서도 안정성을 유지한다.
• 2f-과잉 조건을 도입한다: 크기가 f인 두 개의 비고장 에이전트 집합이 서로소일 경우, 최적점에서의 하위미분의 교차가 비어 있지 않다.
• 볼록 함수의 기하적 성질과 과잉 조건을 활용하여 악성 기울기를 거부하는 강건한 집계 규칙을 적용한다.
• 모순에 기반한 수렴성 증명을 수행한다: $ V^t $ 의 비영 제한값을 가정하면, 이는 유한한 값으로 증명된 급수의 발산을 야기하며, 이는 유계성과 모순된다.

실험 결과

연구 질문

• RQ1 최대 f명의 베즈란티언 고장 에이전트가 존재하는 상황에서, 페어 투 페어 분산 그래디언트 디센트 알고리즘이 정확한 f-내성을 달성할 수 있는가?
• RQ2 2f-과잉 조건은 이 설정에서 f-내성을 달성하기 위해 필수적이며 충분한 조건인가?
• RQ3 제안된 알고리즘이 모든 비고장 에이전트가 자신의 집합 비용 함수의 진정한 최소값에 수렴하도록 보장할 수 있는가, 아니면 가중 평균 또는 근사 해에만 수렴하는가?
• RQ4 기존의 표준 가정—점점 줄어드는 스텝 크기와 유계인 초기 추정치—하에서 알고리즘이 여전히 수렴성을 유지하는가?
• RQ5 이 결함 내성 메커니즘은 이전의 근사 결함 내성 방법이 다루지 못한 고차원 볼록 최적화 문제로까지 확장 가능한가?

주요 결과

• 제안된 알고리즘은 f-내성을 달성한다: 모든 비고장 에이전트는 비고장 에이전트의 집합 비용 함수의 최적 해에 동일한 점으로 수렴한다.
• 2f-과잉 조건 하에서 수렴성이 입증되며, 이 조건이 이 설정에서 f-내성을 확보하기 위해 필수적임이 입증된다.
• 알고리즘은 $ \sum_{t=0}^\infty \eta_t \|x^t_i - x^*\|^2 < \infty $ 를 보장하며, 이는 모든 비고장 에이전트 i에 대해 $ \|x^t_i - x^*\| \to 0 $ 이고 $ t \to \infty $ 일 때 수렴함을 의미한다.
• 수렴성 증명은 $ \sum \Omega^t $ 와 $ V^\infty $ 의 유계성, 그리고 $ \sum \eta_t $ 의 발산성을 활용한 모순 추론에 기반한다. 이를 통해 $ \lim_{t\to\infty} V^t = 0 $ 이다.
• 이 방법은 이전의 근사 결함 내성 접근 방식보다 더 넓은 고차원 볼록 최적화 문제의 범주에 적용 가능하다.
• 알고리즘은 결정론적이며, 제시된 가정 하에서 공감과 타당성을 보장하며, 확률적 보장을 필요로 하지 않는다.