[논문 리뷰] Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity.

Aritra Mitra, Rayana H. Jaafar외 2명|arXiv (Cornell University)|2021. 02. 14.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 12

한 줄 요약

FedLin은 과거 경사와 클라이언트별 학습률을 활용하여 목적 함수 및 시스템 이질성 하에서 전역 최솟값으로 선형 수렴을 달성하는 새로운 플러그인 학습 알고리즘입니다. 부드럽고 강력히 볼록, 볼록, 비볼록 설정 전반에서 중심화된 수렴 속도와 상수 인자까지 일치하며, 극단적인 경사 압축 조건에서도 성립합니다.

ABSTRACT

We consider a standard federated learning architecture where a group of clients periodically coordinate with a central server to train a statistical model. We tackle two major challenges in federated learning: (i) objective heterogeneity, which stems from differences in the clients' local loss functions, and (ii) systems heterogeneity, which leads to slow and straggling client devices. Due to such client heterogeneity, we show that existing federated learning algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. To address the above limitation, we propose FedLin - a simple, new algorithm that exploits past gradients and employs client-specific learning rates. When the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the trade-offs associated with infrequent, periodic communication. Notably, FedLin is the only approach that is able to match centralized convergence rates (up to constants) for smooth strongly convex, convex, and non-convex loss functions despite arbitrary objective and systems heterogeneity. We further show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate.

연구 동기 및 목표

• 기존 방법이 느리게 수렴하거나 잘못된 해를 도출하는 플러그인 학습의 근본적 속도-정확도 트레이드오프를 해결하기 위해.
• 스태그링 클라이언트와 비-iid 데이터를 포함한 임의의 목적 함수 및 시스템 이질성 하에서도 전역 최솟값으로 선형 수렴을 달성하기 위해.
• 부드럽고 강력히 볼록, 볼록, 비볼록 설정에서 중심화된 최적화 방법의 수렴 속도(상수 인자까지)를 일치시키기 위해.
• 이질성 하에서 주기적 통신과 경사 희소화가 수렴 속도에 미치는 영향을 분석하기 위해.
• 현실적인 플러그인 학습 조건 하에서 수렴 속도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• FedLin은 지역적 진전과 이력 경사에 기반해 클라이언트별로 적응하는 학습률 전략을 사용합니다.
• 이질적인 환경에서 수렴을 안정화하고 가속화하기 위해 업데이트 규칙에 과거 경사를 통합합니다.
• 클라이언트와 서버 간 주기적 통신을 구현하며, 다양한 통신 빈도 하에서 수렴을 분석합니다.
• 수렴 속도에 미치는 영향을 고려해 압축 수준이 정량화된 경사 희소화를 적용합니다.
• 지역 손실 함수의 부드러움과 강력한 볼록성 가정을 바탕으로 수렴 범위를 이론적으로 확립합니다.
• FedLin의 업데이트 규칙은 클라이언트가 다른 데이터 분포와 계산 속도를 가질 경우에도 선형 수렴을 유지하도록 설계되었습니다.

실험 결과

연구 질문

• RQ1 플러그인 학습이 목적 함수 및 시스템 이질성 하에서도 전역 최솟값으로 선형 수렴을 달성할 수 있는가?
• RQ2 이질적인 플러그인 설정에서 통신 빈도와 수렴 속도 사이의 트레이드오프는 무엇인가?
• RQ3 FedLin은 임의의 클라이언트 이질성 하에서도 중심화된 최적화 방법의 수렴 속도를 일치시킬 수 있는가?
• RQ4 경사 압축은 FedLin의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 다양한 손실 함수 클래스 하에서 FedLin의 수렴 속도에 대한 이론적 상한은 무엇인가?

주요 결과

• FedLin은 부드럽고 강력히 볼록한 지역 손실 함수 하에서도 임의의 목적 함수 및 시스템 이질성 하에서 전역 최솟값으로 선형 수렴을 보장합니다.
• 부드럽고 강력히 볼록, 볼록, 비볼록 설정 전반에서 중심화된 방법의 수렴 속도와 상수 인자까지 일치하는 수렴 속도를 달성합니다.
• FedLin의 수렴 속도는 정량적으로 범위가 제한되며, 주기적 통신 하에서 상한과 하한이 명시적으로 확립되어 있습니다.
• FedLin은 극도로 강한 경사 희소화 조건 하에서도 선형 수렴을 유지하며, 이 압축 수준이 수렴 속도와 명시적으로 연결되어 있습니다.
• 알고리즘은 빠른 정확한 수렴을 동시에 가능하게 하여 속도-정확도 트레이드오프를 효과적으로 해결합니다.
• 실험적 검증을 통해 FedLin이 이질적 조건 하에서 기존 방법보다 수렴 속도와 최종 정확도에서 뛰어난 성능을 보임을 확인했습니다.