[논문 리뷰] Gradient Coding via the Stochastic Block Model

Zachary Charles, Dimitris Papailiopoulos|arXiv (Cornell University)|2018. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 13

한 줄 요약

이 논문은 분산 기계 학습에서 효율적이고 정확한 그래디언트 복구를 달성하기 위해 확률적 블록 모델을 활용하는 새로운 기울기 코드인 스토하스틱 블록 코드(SBC)를 소개한다. SBC는 무작위로 느린 노드가 선택될 경우 낮은 근사 오차를 유지하면서도 악성 느린 노드 공격에 강력한 저항성을 보이며, 계산적으로 효율적이고 내공성이 뛰어나며, 악성 복구 복잡도는 확률적 블록 모델에서 커뮤니티 탐지 문제와 동일한 수준이다.

ABSTRACT

Gradient descent and its many variants, including mini-batch stochastic gradient descent, form the algorithmic foundation of modern large-scale machine learning. Due to the size and scale of modern data, gradient computations are often distributed across multiple compute nodes. Unfortunately, such distributed implementations can face significant delays caused by straggler nodes, i.e., nodes that are much slower than average. Gradient coding is a new technique for mitigating the effect of stragglers via algorithmic redundancy. While effective, previously proposed gradient codes can be computationally expensive to construct, inaccurate, or susceptible to adversarial stragglers. In this work, we present the stochastic block code (SBC), a gradient code based on the stochastic block model. We show that SBCs are efficient, accurate, and that under certain settings, adversarial straggler selection becomes as hard as detecting a community structure in the multiple community, block stochastic graph model.

연구 동기 및 목표

• 기존 기울기 코드의 한계를 해결하기 위해, 계산 비용이 높거나 정확도가 떨어지거나 악성 느린 노드 공격에 취약한 경우를 방지한다.
• 무작위 느린 노드 선택 조건 하에서 분수 반복 코드(FRCs)와 유사하게 낮은 복원 오차를 달성하는 기울기 코드를 설계한다.
• FRCs가 취약한 것과는 달리, 악성 느린 노드에 대한 저항성을 향상시킨다.
• 악성 느린 노드 탐지와 스토하스틱 블록 모델에서의 커뮤니티 탐지 간의 관계를 정식화하고, 계산 난이도 보장을 수립한다.

제안 방법

• SBC는 노드가 서로 다른 연결 확률을 가진 커뮤니티로 분할되는 스토하스틱 블록 모델에 기반한 함수 할당 행렬을 구성한다.
• 각 컴퓨팅 노드는 블록 구조에 따라 작업이 할당되며, 내부 블록 및 외부 블록 간 연결 확률은 각각 $p$와 $q$로 제어된다.
• 블록 구조에 기반한 선형 시스템을 풀어 블록 구조를 기반으로 그래디언트를 복구하기 위해 스토하스틱 복원 방법을 사용하며, 복원 오차를 최소화한다.
• 최적 복원 방법도 고려되며, 이는 $\|\mathbf{G}\mathbf{v} - \mathbf{1}_k\|_2^2$를 최소화함으로써 정확도를 향상시키지만 계산 비용이 더 높아진다.
• 이론적 분석을 통해 SBC를 무너뜨리는 데 드는 난이도가 스토하스틱 블록 모델에서 커뮤니티 탐지 문제의 난이도와 관련이 있음을 규명한다.
• 실증 평가에서는 다양한 느린 노드 비율과 파라미터 조건에서 SBC를 비코딩 및 기존 기울기 코드와 비교한다.

실험 결과

연구 질문

• RQ1 무작위 느린 노드 선택 조건 하에서 FRCs와 유사하게 효율적으로 계산 가능하고 낮은 근사 오차를 달성할 수 있는 기울기 코드가 존재하는가?
• RQ2 그러한 코드는 FRCs와 달리 악성 느린 노드 선택에 대해 강건한가?
• RQ3 코드를 무너뜨리는 데 드는 계산 난이도는 랜덤 그래프 이론에서 알려진 난이도 높은 문제, 예를 들어 커뮤니티 탐지 문제와 동일한가?
• RQ4 다양한 느린 노드 패턴 하에서 SBC의 복원 오차는 BGCs 및 FRCs와 비교해 어떻게 되는가?
• RQ5 스토하스틱 블록 모델의 파라미터 $p$와 $q$는 코드의 최종 오차와 저항성에 어떤 영향을 미치는가?

주요 결과

• 무작위 느린 노드 선택 조건 하에서 SBC는 FRCs와 유사한 복원 오차를 달성하며, 합리적인 $\epsilon$에 대해 오차는 대략 $(1-p)p$ 비례로 증가한다.
• 최적 복원을 사용할 경우, SBC는 $p=0.85$이면서도 높은 비율의 느린 노드가 존재하는 조건에서도 비코딩 기반 기준보다 훨씬 낮은 오차를 기록한다.
• SBC에 대한 악성 느린 노드 탐지는 스토하스틱 블록 모델에서 커뮤니티 탐지 문제만큼 계산적으로 어렵기 때문에, 특정 파라미터 영역에서는 효율적인 알고리즘이 존재하지 않는다.
• 일부 $s = k/2$ 조건에서, 악성 복원은 $k(p-q)^2 > 2(p+q)$일 때에만 가능하며, 이는 취약성에 대한 임계값을 설정한다.
• 실증 결과는 SBC가 다양한 느린 노드 비율에서도 낮은 오차를 유지하며, 최대 50%의 노드가 느린 노드일 경우에도 성능이 안정적임을 보여준다.
• 이론적 경계는 SBC가 기반 블록 모델의 신호 대 잡음 비율이 낮을 경우 악성 느린 노드에 대해 강건함을 확인하며, 기존 커뮤니티 탐지의 알려진 한계와 일치한다.