[논문 리뷰] A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|2020. 06. 19.

Stochastic Gradient Optimization Techniques참고 문헌 62인용 수 20

한 줄 요약

이 논문은 압축 오차 피드백 기반의 압축 기법을 통해 기존의 계약형(편향 있음) 압축기(예: Top-K)를 편향이 없는 '유도 압축기'로 변환하는 새로운 방법을 제안한다. 이는 효율적인 비편향 통신 방법을 직접 사용할 수 있도록 하며, 기존 오차 피드백 대비 향상된 수렴성, 낮은 메모리 사용량, 더 강력한 이론적 보장을 달성한다. 딥러닝 모델 전반에 걸쳐 실험적으로 검증되었다.

ABSTRACT

Modern large-scale machine learning applications require stochastic optimization algorithms to be implemented on distributed compute systems. A key bottleneck of such systems is the communication overhead for exchanging information across the workers, such as stochastic gradients. Among the many techniques proposed to remedy this issue, one of the most successful is the framework of compressed communication with error feedback (EF). EF remains the only known technique that can deal with the error induced by contractive compressors which are not unbiased, such as Top-$K$. In this paper, we propose a new and theoretically and practically better alternative to EF for dealing with contractive compressors. In particular, we propose a construction which can transform any contractive compressor into an induced unbiased compressor. Following this transformation, existing methods able to work with unbiased compressors can be applied. We show that our approach leads to vast improvements over EF, including reduced memory requirements, better communication complexity guarantees and fewer assumptions. We further extend our results to federated learning with partial participation following an arbitrary distribution over the nodes, and demonstrate the benefits thereof. We perform several numerical experiments which validate our theoretical findings.

연구 동기 및 목표

• 기본적으로 Top-K와 같은 편향 있는 압축기 처리를 위한 표준 기법인 오차 피드백(EF)의 한계를 개선하여 분산 기계학습에서의 통신 병목 현상을 해결하고자 한다.
• 오차 벡터를 유지할 필요 없이, 이론적으로 타당하고 실용적으로 뛰어난 EF의 대안을 개발하여 메모리 오버헤드를 줄이기 위함이다.
• 적절히 구성된 비편향 압축기의 경우, EF를 사용하는 편향 압축기보다 수렴 속도와 안정성에서 뛰어나다는 것을 입증하고자 한다.
• 임의의 클라이언트 참여 패턴을 고려한 플러터링 학습(federated learning) 환경으로 이 프레임워크를 확장하여, 강건성과 확장성을 입증하고자 한다.

제안 방법

• 모든 계약형 압축기를 비편향 '유도 압축기'로 변환하는 일반적인 구성 방법을 제안하며, 이를 두 번째 비편향 압축기와 조합함으로써 달성한다.
• 완전한 오차 벡터를 저장하지 않고도 비편향 성질을 유지하기 위해 압축된 오차 피드백 형태를 사용함으로써 메모리 사용량을 줄인다.
• 기존의 비편향 통신 방법(DCSGD, DIANA, ADIANA 등)을 유도 압축기에 적용하여 이들의 이론적 수렴 보장을 유감없이 활용한다.
• 유도 압축기를 이중 단계 프로세스로 설계함: 먼저 편향 압축기(예: Top-a)를 적용하고, 그 잔차에 대해 비편향 압축기(예: Rand-(K-a))를 적용한다.
• 기존의 편향 압축기의 저분산 특성을 유지하면서도, 결과적으로 유도 압축기가 비편향이 되도록 보장한다.
• 이론적 분석을 통해 EF 대비 더 낮은 통신 복잡도와 더 적은 가정 조건을 확보함을 입증하였으며, 특히 플러터링 학습에서 부분적 노드 참여 상황에서 뚜렷한 우수성을 보였다.

실험 결과

연구 질문

• RQ1 기존 오차 피드백에 의존하지 않고도, 어떤 계약형(편향 있음) 압축기라도 비편향 압축기로 변환할 수 있는 일반적인 방법을 개발할 수 있는가?
• RQ2 제안된 유도 압축기가 수렴 속도, 메모리 효율성, 통신 복잡도 측면에서 오차 피드백보다 뛰어나게 성능을 냈는가?
• RQ3 임의의 클라이언트 참여 패턴을 가진 플러터링 학습 환경에서 유도 압축기가 효과적으로 적용될 수 있는가?
• RQ4 유도 압축기는 실제로 오차 피드백 및 비편향 기반 기준(예: Rand-K 또는 기울기 흐림)과 비교해 어떻게 성능을 냈는가?
• RQ5 가정 조건과 수렴 보장 측면에서 유도 압축기는 오차 피드백 대비 어떤 이론적 우위를 지니는가?

주요 결과

• 유도 압축기는 VGG11 및 ResNet18를 포함한 다양한 딥러닝 모델에서 오차 피드백 대비 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 기존 오차 피드백에서 요구하는 전체 오차 벡터 저장이 불필요해지면서 메모리 사용량이 크게 감소하였다.
• 실험 결과, 유도 압축기는 Top-K에 오차 피드백를 적용한 경우와 비편향 Rand-K 기반 기준 대비 특히 통신 예산이 낮은 상황에서 뚜렷한 성능 향상을 보였다.
• 이미 비편향인 압축기(예: TernGrad)에 오차 피드백을 적용할 경우 성능이 악화됨을 확인하여, 이러한 경우 오차 피드백는 불필요하고 오히려 해로울 수 있음을 입증하였다.
• 이론적 분석을 통해 유도 압축기가 오차 피드백 대비 더 낮은 통신 복잡도와 더 적은 가정 조건을 필요로 함을 확인하였으며, 특히 부분적 노드 참여 상황에서의 플러터링 학습에서 뚜렷한 이점이 있었다.
• 유도 압축기는 수렴 문제 없이 고성능 편향 압축기(예: Top-K)를 사용할 수 있도록 하며, 오차 피드백의 메모리 오버헤드를 피할 수 있다.