[논문 리뷰] Gradient Descent with Compressed Iterates

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|2019. 09. 10.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 12

한 줄 요약

이 논문은 기울기 하강법을 사용하면서 각 단계에서 모델 이터레이트를 압축하는 새로운 확률적 1차 방법인 압축된 이터레이트를 사용하는 기울기 하강법(GDCI)을 소개한다. 이는 기울기 업데이트를 적용하기 전에 무작위로 선택되고 비편향인 압축 연산자를 사용하여 모델 이터레이트를 압축한다. 저자는 매끄럽고 강하게 볼록인 함수에 대해 GDCI의 선형 수렴성을 입증하며, 페더레이티드 러닝에서 반복적 모델 압축의 이론적 분석을 처음으로 제공하고, 실무와 이론 간의 핵심 격차를 메운다.

ABSTRACT

We propose and analyze a new type of stochastic first order method: gradient descent with compressed iterates (GDCI). GDCI in each iteration first compresses the current iterate using a lossy randomized compression technique, and subsequently takes a gradient step. This method is a distillation of a key ingredient in the current practice of federated learning, where a model needs to be compressed by a mobile device before it is sent back to a server for aggregation. Our analysis provides a step towards closing the gap between the theory and practice of federated learning, and opens the possibility for many extensions.

연구 동기 및 목표

• 반복적 모델 압축에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 기울기만이 아니라 이터레이트 자체를 각 단계에서 압축할 경우 기울기 하강법의 수렴 행동을 분석하기 위해.
• 표준적인 매끄럽고 강하게 볼록인 조건 하에서 각 반복에서 모델 파라미터(이터레이트)를 압축하는 방법에 대한 첫 번째 수렴 분석을 제공하기 위해.
• 현대 페더레이티드 러닝 시스템의 핵심 구성 요소인 장치가 전송 전에 모델을 압축하는 데 이론적 기초를 마련하기 위해.

제안 방법

• GDCI를 제안한다: $ x_{k+1} = \mathcal{C}(x_k) - \gamma \nabla f(\mathcal{C}(x_k)) $, 여기서 $ \mathcal{C} $ 는 무작위로 선택되고 비편향인 압축 연산자이다.
• 가정 2를 만족하는 압축 연산자를 사용한다. 이는 희소화, 양자화, 딜레이팅 기법을 포함한다.
• 최적 해와의 기대 제곱 거리 $ \mathbb{E}[\|x_k - x_*\|^2] $ 에 대한 재귀 관계를 통해 수렴성을 분석한다.
• 단계 크기 $ \gamma $, 강한 볼록성의 정도 $ \mu $, 리프시츠 기울기 조건의 정도 $ L $, 그리고 압축 파라미터 $ \alpha $, $ \beta $ 를 포함하는 재귀 경계를 유도하며, 이는 선형 수렴을 이끈다.
• 수렴을 보장하기 위해 단계 크기 $ \gamma $ 와 압축 품질 $ \alpha $ 에 대한 조건을 확립하며, 명시적인 수렴 속도 경계를 제공한다.
• 기울기 리프시츠 연속성과 비편향 압축의 성질을 활용하여 반복 간 오차 전파를 제한한다.

실험 결과

연구 질문

• RQ1 매끄럽고 강하게 볼록인 함수에 대해 압축된 이터레이트를 사용하는 기울기 하강법이 선형으로 수렴하는가?
• RQ2 수렴을 보장하기 위해 압축 연산자와 단계 크기에 어떤 조건이 필요한가?
• RQ3 압축에 의해 유도된 분산은 수렴에 어떤 영향을 미치며, 이를 제한할 수 있는가?
• RQ4 이터레이트 압축의 이론적 분석은 실무적인 페더레이티드 러닝과 기존 이론 간 격차를 메울 수 있는가?

주요 결과

• GDCI는 선형 수렴 속도 $ \mathbb{E}[\|x_k - x_*\|^2] \leq (1 - \gamma\mu)^k \|x_0 - x_*\|^2 + \frac{D}{\gamma\mu} $ 를 달성한다. 여기서 $ D = 2\gamma^2 B + \gamma(L - \mu)\beta $ 이다.
• 수렴은 $ 2\gamma A + \alpha(L - \mu) \leq 1 $ 일 때 보장되며, $ A = L + (L^2 + \gamma^{-2})\alpha $ 이다. 이는 안정성과 오차 감쇠를 보장한다.
• 수렴 속도는 압축 품질을 나타내는 파라미터 $ \alpha $ 와 $ \beta $ 에 따라 달라지며, 더 나은 압축 연산자일수록 더 날카운 경계를 확보할 수 있다.
• 이 방법은 페더레이티드 러닝의 맥락에서 반복적 모델 압축에 대한 첫 번째 이론적 분석을 제공한다. 단일 장치 케이스에서도 성립한다.
• 효율적 압축 품질 $ \omega = \frac{\alpha\mu}{2} $ 에 대한 경계를 유도하였으며, 이는 압축 강도와 강한 볼록성 간의 상호작용을 보여준다.