[논문 리뷰] Exponential Graph is Provably Efficient for Decentralized Deep Training

Bicheng Ying, Kun Yuan외 4명|arXiv (Cornell University)|2021. 10. 26.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 탈중앙화 딥 러닝 훈련을 위한 지수 그래프—특히 정적 및 원피어 변형—을 제안하며, 각 반복에서 최소한의 통신으로 거의 정확한 평균을 달성함을 증명한다. 이는 log(n)개의 원피어 지수 그래프를 순차적으로 적용할 경우, 각 노드가 반복당 한 명의 이웃과만 통신함에도 불구하고 정확한 평균을 달성할 수 있음을 보여주며, 통신 비용과 수렴 속도를 균형 잡는 데 있어 모든 일반적인 구조보다 뛰어나다.

ABSTRACT

Decentralized SGD is an emerging training method for deep learning known for its much less (thus faster) communication per iteration, which relaxes the averaging step in parallel SGD to inexact averaging. The less exact the averaging is, however, the more the total iterations the training needs to take. Therefore, the key to making decentralized SGD efficient is to realize nearly-exact averaging using little communication. This requires a skillful choice of communication topology, which is an under-studied topic in decentralized optimization. In this paper, we study so-called exponential graphs where every node is connected to $O(\log(n))$ neighbors and $n$ is the total number of nodes. This work proves such graphs can lead to both fast communication and effective averaging simultaneously. We also discover that a sequence of $\log(n)$ one-peer exponential graphs, in which each node communicates to one single neighbor per iteration, can together achieve exact averaging. This favorable property enables one-peer exponential graph to average as effective as its static counterpart but communicates more efficiently. We apply these exponential graphs in decentralized (momentum) SGD to obtain the state-of-the-art balance between per-iteration communication and iteration complexity among all commonly-used topologies. Experimental results on a variety of tasks and models demonstrate that decentralized (momentum) SGD over exponential graphs promises both fast and high-quality training. Our code is implemented through BlueFog and available at https://github.com/Bluefog-Lib/NeurIPS2021-Exponential-Graph.

연구 동기 및 목표

• 각 반복 통신 비용과 수렴 속도 사이의 상충 관계를 해결하기 위해 최적의 통신 구조를 설계함으로써 탈중앙화 SGD에서의 균형을 이루는 것.
• 정보 집계가 비효율적으로 작용해 고전적인 투자 시간이 길어지는 희박한 구조의 한계를 극복하는 것.
• 지수 그래프가 탈중앙화 훈련에서 실제로 성공한 이유에 대한 이론적 근거를 제공함으로써, 최소한의 통신으로 정확한 평균을 달성할 수 있는 능력을 입증하는 것.
• 각 노드가 반복당 한 명의 이웃과만 통신하는 원피어 지수 그래프가 log(n)회의 반복 동안 정확한 평균을 달성할 수 있음을 입증함으로써, 효율적이고 확장 가능한 훈련을 가능하게 하는 것.

제안 방법

• 지수 그래프의 두 변형—정적(각 노드가 O(log n)개의 이웃과 연결됨)과 원피어(각 노드가 이웃을 순환하며 반복당 한 명의 이웃과만 통신함)—을 제안한다.
• 정적 지수 그래프의 스펙트럼 갭을 이론적으로 분석하여, 이가 O(1/log₂n)로 상한이 있음을 증명하며, 이는 이전에 잘못 주장된 O(1)에 대한 수정이다.
• 어떤 log₂(n)개의 연속된 원피어 지수 그래프 시퀀스도, 시간에 따라 변화하는 구조이지만 각 노드가 반복당 한 개의 통신 링크만 가지더라도 정확한 평균을 달성함을 입증한다.
• 지수 그래프 구조를 탈중앙화 (모멘타임) SGD에 적용하며, 수렴을 보장하기 위해 대칭 가중치 행렬을 위해 메트로폴리스 규칙을 사용한다.
• BlueFog를 활용해 구현하고 다양한 모델과 작업을 대상으로 평가하여 성능과 확장성의 타당성을 검증한다.
• 최대 차수와 1−ρ(스펙트럼 갭) 등의 지표를 사용해 레이어, 격자, 무작위, 별자리 등 표준 구조들과 비교하여, 지수 그래프가 더 뛰어난 균형을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 지수 그래프는 탈중앙화 SGD에서 각 반복 통신 비용을 낮추면서도 수렴 속도를 빠르게 할 수 있는가?
• RQ2 정적 지수 그래프의 진정한 스펙트럼 갭은 얼마이며, 이는 문헌에서 이전에 주장된 바와 어떻게 비교되는가?
• RQ3 각 노드가 반복당 한 명의 이웃과만 통신하는 원피어 지수 그래프도 시간이 지남에 따라 정확한 평균을 달성할 수 있는가?
• RQ4 지수 그래프의 투자 시간 복잡도는 탈중앙화 훈련에서 일반적으로 사용되는 다른 구조들과 비교해 어떻게 되는가?
• RQ5 탈중앙화 (모멘타임) SGD에 지수 그래프를 적용할 경우, 통신 효율성과 수렴 속도 측면에서 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• 정적 지수 그래프의 스펙트럼 갭은 O(1/log₂n)임을 증명하였으며, 이는 이전에 잘못 주장된 O(1)에 대한 수정이다.
• log₂(n)개의 연속된 원피어 지수 그래프 시퀀스는, 각 반복당 통신이 최소한임에도 불구하고 정확한 평균을 달성함으로써 높은 수렴 효율성을 가능하게 한다.
• 원피어 지수 그래프 구조는 정적 지수 그래프와 동일한 투자 시간 복잡도—O(n³ log²₂n)—를 달성하지만, 각 노드가 반복당 한 개의 통신 링크만 가지는 것으로서 효율성을 확보한다.
• 지수 그래프는 레이어, 격자, 무작위, 별자리 등 일반적으로 사용되는 모든 구조보다 통신 비용과 투자 시간 복잡도 사이의 균형을 더 잘 이룹니다.
• 다양한 모델과 작업에 대한 실험 결과는 지수 그래프를 사용한 탈중앙화 (모멘타임) SGD가 빠르고 고성능의 훈련을 가능하게 함을 확인한다.
• BlueFog를 활용한 구현과 공개된 코드를 통해 검증된 바, 제안된 방법은 통신 비용과 수렴 속도 사이의 균형에서 최고 수준의 성능을 달성한다.