[논문 리뷰] First Analysis of Local GD on Heterogeneous Data

Ahmed Khaled, Konstantin Mishchenko외 1명|arXiv (Cornell University)|2019. 09. 10.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 67

한 줄 요약

이 논문은 서로 다른 기기 간 데이터로 평균을 최소화하는 L-매끄러운 볼록 함수들의 로컬 경사 하강법에 대한 첫 수렴 분석을 제공합니다. 낮은 정밀도 구간에서 표준 경사하강법의 통신 복잡도와 일치합니다.

ABSTRACT

We provide the first convergence analysis of local gradient descent for minimizing the average of smooth and convex but otherwise arbitrary functions. Problems of this form and local gradient descent as a solution method are of importance in federated learning, where each function is based on private data stored by a user on a mobile device, and the data of different users can be arbitrarily heterogeneous. We show that in a low accuracy regime, the method has the same communication complexity as gradient descent.

연구 동기 및 목표

• 각 f_m이 볼록하고 L-매끄럼한 각 f_m으로 이루어진 평균 목표 f(x)= (1/M) sum_m f_m(x) 를 위해 로컬 경사 하강법을 동기부여하고 분석합니다.
• 연합학습에서 기기 간 비 IID 데이터에 대응하고 바운드된 그래 gradient 가정 없이 수렴을 이해합니다.
• 수렴 구간의 이웃(Neighborhood) 수렴 경계 도출 및 데이터 이질성과 정확도에 따른 통신 복잡도 관계를 도출합니다.
• 수렴을 결정하는 이질성 척도 σ^2 = (1/M) sum_m ||∇f_m(x_*)||^2 의 역할을 강조합니다.
• 로컬 스텝(H)과 동기화가 중앙집중식 GD와 비교해 수렴에 미치는 영향을 제시합니다.

제안 방법

• M개의 기기 간 주기적 동기화와 동기화 사이 로컬 업데이트를 갖는 로컬 경사 하강법 알고리즘을 정의합니다.
• 최적성 갭에 대한 재귀식 r_t = x̂_t - x_* 와 V_t(반복편차) 및 g_t(평균 그래디언트)에 대한 경계치를 증명합니다.
• 적절한 γ 및 동기화 간격 H에 대해 f(x̄_T) - f(x_*) ≤ 2||x_0 - x_*||^2 /(γT) + 24 γ^2 σ^2 H^2 L 를 도출합니다.
• 제약 조건 γ ≤ 1/(4LH) 및 γ 관련 조건 아래에서 T/H 를 최소화하여 최적의 통신 복잡도 한계를 도출합니다.
• Corollary 1을 통해 Local GD를 미니배치 SGD와 연결하고 특정 H 선택에서 1/√(MT) 및 1/√T 속도를 보임.

실험 결과

연구 질문

• RQ1 로컬 경사 하강법이 바운드된 그래디언트 가정 없이 이질적인 L-매끄러운 볼록 함수들의 평균을 최소화하는 데 수렴할 수 있는가?
• RQ2 σ^2 로 표현되는 데이터 이질성이 Local GD의 수렴 및 통신 복잡도에 어떤 영향을 미치는가?
• RQ3 로컬 스텝 수 H, 동기화 간격, 목표 정확도에 도달하기까지 필요한 전체 통신 라운드 수와의 관계는?
• RQ4 비 IID 데이터 하에서 Local GD가 표준 GD 및 미니배치 SGD에 비해 수렴 속도와 통신 효율성 측면에서 어떤 차이가 있는가?

주요 결과

• 해당 방법은 적절한 γ에 대해 f(x̄_T) - f(x_*) ≤ 2||x_0 - x_*||^2 /(γT) + 24 γ^2 σ^2 H^2 L 의 수렴 구간을 얻습니다.
• ε가 너무 작지 않다면(ε ≥ 3σ^2/L), 통신 복잡도는 상수까지 표준 경사하강법과 일치합니다.
• ε < 3σ^2/L 이면 통신 복잡도는 O(√L σ / ε^{3/2})로 확장됩니다.
• Corollary는 적절한 H와 γ에서 통신 라운드 측면에서 1/√(MT) 속도를 보여주며 미니배치 SGD와의 트레이드오프를 보여줍니다.
• Local GD는 σ^2에 의해 결정되는 이웃 크기와 함께 미니배치 SGD처럼 작동하며 수렴에 대한 이질성의 영향을 강조합니다.
• LIBSVM 데이터세트에 대한 경험적 결과가 이론과 실무를 일치시키며, 높은 통신 비용 하에서 정확한 정밀도가 필요하지 않을 때 로컬 방법이 유리합니다.