[논문 리뷰] Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization

Jianyu Wang, Qinghua Liu외 3명|arXiv (Cornell University)|2020. 07. 15.

Privacy-Preserving Technologies in Data참고 문헌 51인용 수 572

한 줄 요약

이 논문은 연합학습에서 이질적인 로컬 업데이트로 인한 목적 불일치를 분석하고, 일반 프레임워크를 도입하며, 업데이트를 정규화하여 일관된 수렴을 달성하는 FedNova를 제안한다.

ABSTRACT

In federated optimization, heterogeneity in the clients' local datasets and computation speeds results in large variations in the number of local updates performed by each client in each communication round. Naive weighted aggregation of such models causes objective inconsistency, that is, the global model converges to a stationary point of a mismatched objective function which can be arbitrarily different from the true objective. This paper provides a general framework to analyze the convergence of federated heterogeneous optimization algorithms. It subsumes previously proposed methods such as FedAvg and FedProx and provides the first principled understanding of the solution bias and the convergence slowdown due to objective inconsistency. Using insights from this analysis, we propose FedNova, a normalized averaging method that eliminates objective inconsistency while preserving fast error convergence.

연구 동기 및 목표

• 연합 학습에서 불균등한 로컬 업데이트로 인해 발생하는 목적 불일치 문제를 동기 부여하고 형식화한다.
• 이질적인 로컬 진행 하에서 FedAvg와 FedProx를 포괄하는 일반 수렴 프레임워크를 개발한다.
• 일관성의 편향과 느려짐을 특징짓고 이론적 보장을 수립한다.
• 목적 일관성을 달성하면서 빠른 수렴을 보존하는 정규화 기반 집계 방법(FedNova)을 제안한다.

제안 방법

• 모델 업데이트는 대리 목표를 최적화하는 일반화된 업데이트 규칙으로 쓸 수 있으며, 준사실 목표 ϕ = sum wi Fi 와 정상화된 그래디언트 di(t) 를 사용한다.
• 로컬 그래디언트 누적 a_i와 L1 노름을 사용하여 정규화된 그래디언트로서 d_i(t)를 정의하고, a_i가 로컬 솔버와 스케줄을 어떻게 인코딩하는지 보인다.
• 이질적인 클라이언트들 간의 집계와 진행을 포착하기 위해 가중치 w_i 와 유효 스텝 수 tau_eff 를 도입한다.
• 대리 목표의 정지점으로의 수렴을 증명하고, 대리 목표와 실제 목표에 대해 그래디언트 노름을 상한으로 제시한다.
• FedNova가 wi = pi(데이터 비율)로 설정하여 목적 불일치를 제거하고 선형 속도 증가와 수렴 보장을 도출하는 방법을 보인다.
• 다양한 로컬 솔버와의 호환성 및 가속/분산 감소 기법과의 잠재적 결합 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 로컬 업데이트 수의 이질성이 연합 최적화의 수렴에 어떻게 영향을 미치는가?
• RQ2 FedAvg 및 FedProx와 같은 표준 집계에서 발생하는 목적 불일치로 인한 편향을 정량화하고 완화할 수 있는가?
• RQ3 정규화 기반 집계(FedNova)가 수렴 속도를 희생하지 않으면서 일관성을 회복하는가?
• RQ4 이론적 보장이 비정규 IID 데이터, 다양한 클라이언트 참여 및 서로 다른 로컬 솔버에 어떻게 확장되는가?
• RQ5 근접항(proximal terms)이나 다른 하이퍼파라미터를 조정할 때 목표 일관성과 수렴 지연 간의 트레이드-오프는 무엇인가?

주요 결과

• FedAvg는 대리 목표의 정지점으로 수렴하지만, 로컬 업데이트 수에 따라 진짜 글로벌 목표와 임의로 다를 수 있다.
• 목적 불일치는 집계 가중치가 실제 데이터 공유(pi)를 반영하지 않으면 vanishing하지 않는 오차 바닥을 도입한다.
• FedProx는 불일치를 줄일 수는 있지만 제거하지 못하고, 근접성 강도가 커지면 수렴 속도가 느려질 수 있다.
• 일반화된 업데이트 규칙은 많은 연합 알고리즘을 포착하고 이질적인 로컬 업데이트로 인한 편향과 느려짐을 정량화한다.
• FedNova는 로컬 그래디언트를 정규화하고 평균화하여 목적 불일치를 제거하고 일관성을 달성하며 빠른 오차 수렴을 보존한다.
• FedNova는 임의의 로컬 솔버와 호환되며 분산 감소 및 서버 측 가속과 결합될 수 있다.