[논문 리뷰] Error Feedback Fixes SignSGD and other Gradient Compression Schemes

Sai Praneeth Karimireddy, Quentin Rebjock외 2명|arXiv (Cornell University)|2019. 01. 28.

Stochastic Gradient Optimization Techniques인용 수 153

한 줄 요약

이 논문은 편향된 그래디언트 압축 방법들(예: SignSGD)이 수렴하지 않거나 일반화가 좋지 못할 수 있음을 보이고, 오류 피드백이 있는 EF-SGD를 도입하여 SGD의 수렴 속도를 회복하고 일반화를 개선하되 압축이 있어도 이를 달성할 수 있음을 제시합니다.

ABSTRACT

Sign-based algorithms (e.g. signSGD) have been proposed as a biased gradient compression technique to alleviate the communication bottleneck in training large neural networks across multiple workers. We show simple convex counter-examples where signSGD does not converge to the optimum. Further, even when it does converge, signSGD may generalize poorly when compared with SGD. These issues arise because of the biased nature of the sign compression operator. We then show that using error-feedback, i.e. incorporating the error made by the compression operator into the next step, overcomes these issues. We prove that our algorithm EF-SGD with arbitrary compression operator achieves the same rate of convergence as SGD without any additional assumptions. Thus EF-SGD achieves gradient compression for free. Our experiments thoroughly substantiate the theory and show that error-feedback improves both convergence and generalization. Code can be found at \url{https://github.com/epfml/error-feedback-SGD}.

연구 동기 및 목표

• Sign-based gradient compression(SIGNSGD 등)의 한계, 예컨대 수렴 실패 가능성과 일반화 저하를 입증한다.
• 오류 피드백 메커니즘(EF-SGD)을 제안·분석하여 압축 하에서 수렴을 보장하고 SGD 속도를 유지한다.
• 비강력성(non-convex) 및 비매끄러운(non-smooth) 설정에 대한 이론적 보장을 제공한다.
• EF-SG​D가 상당한 통신 절감을 유지하면서도 SGD 성능과 일치하는지 경험적으로 검증한다.

제안 방법

• EF-SIGNSGD를 도입하여 누적된 압축 오차를 다음 스텝에 반영하는 오류 피드백을 포함한 SignSGD 변형을 제시한다.
• 압축기를 δ-근사 연산자로 모델링하고 표준 매끄성 및 분산 가정하에서 EF-SGD가 SGD와 유사한 속도로 수렴함을 증명한다.
• 오류 피드백이 반복을 과거 그래디언트의 span 안에 유지하고 압축으로 인한 바이어스를 완화한다는 것을 보여준다.
• 비강건(non-convex) 및 비매끄러운(non-smooth) 설정에서도 명시적 수렴 경계를 확립하는 확장을 제시한다.
• CIFAR-10/100에서 VGG 및 ResNet으로 SGD, SIGNSGD, SIGNSGDM과 비교하여 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 편향된 그래디언트 압축 방식(SignSGD 등)이 SGD만큼 수렴하고 일반화할 수 있는가, 아니면 표준 가정하에서 본질적으로 실패하는가?
• RQ2 압축된 그래디언트에 오류 피드백을 추가하면 수렴이 회복되고 일반화가 향상되어 SGD와 일치하는가?
• RQ3 압축 하에서 매끄러운 설정과 비매끄러운 설정에서 EF-SGD의 이론적 수렴 속도는 얼마인가?
• RQ4 딥 네트워크에서 EF-SIGNSGD가 SGD 및 다른 사인 기반 방법들과 비교하여 배치 크기별로 실험적으로 얼마나 우수한가?

주요 결과

• SignSGD는 편향된 그래디언트 압축 하에서 수렴하지 못하거나 일반화가 SGD보다 더 나쁠 수 있다.
• 오류 피드백(EF-SGD)을 도입하면 비강건 매끄러운 목적함수에 대해 SGD와 일치하는 속도로 수렴하여 사실상 압축이 무료가 된다.
• EF-SIGNSGD는 반복을 과거 그래디언트의 span 안에 보존하여 과잉 파라미터화된 설정에서 일반화를 SGD 수준에 가깝게 향상시킨다.
• ResNet/VGG로 CIFAR-10/100에서의 실험은 EF-SIGNSGD가 SIGNSGD 및 SIGNSGDM보다 우수하고 SGD와 근접하며 커뮤니케이션을 약 64x 감소시키는 것을 보여준다.
• 비매끄러운(convex가 아닌) 경우에도 이론적 결과가 확장되며, 압축 오차가 수렴 속도의 주된 항에 영향을 준다.
• CIFAR-100에서 EF-SIGNSGD의 일반화 격차가 SIGNSGD/ALL 대안들보다 현저히 작아지며, 특히 작은 배치 크기에서 더 두드러진다.