[논문 리뷰] Semi-Synchronous Federated Learning.

Dimitris Stripelis, José Luis Ambite|arXiv (Cornell University)|2021. 02. 04.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 16

한 줄 요약

이 논문은 통신 효율성과 수렴 속도 사이의 균형을 이루기 위해 이질적인 환경에서 주기적으로 로컬 모델을 최소한의 대기 시간으로 동기화하는 반동기적 분산학습(SSFL) 프로토콜을 제안한다. 이는 이전의 접근 방식보다 데이터 및 계산 이질성 환경에서 유의미하게 뛰어난 성능을 보이며, 이질적인 환경에서 수렴 속도는 비동기 방법보다 빠르고 통신 효율성은 동기 방법보다 뛰어나다.

ABSTRACT

There are situations where data relevant to a machine learning problem are distributed among multiple locations that cannot share the data due to regulatory, competitiveness, or privacy reasons. For example, data present in users' cellphones, manufacturing data of companies in a given industrial sector, or medical records located at different hospitals. Federated Learning (FL) provides an approach to learn a joint model over all the available data across silos. In many cases, participating sites have different data distributions and computational capabilities. In these heterogeneous environments previous approaches exhibit poor performance: synchronous FL protocols are communication efficient, but have slow learning convergence; conversely, asynchronous FL protocols have faster convergence, but at a higher communication cost. Here we introduce a novel Semi-Synchronous Federated Learning protocol that mixes local models periodically with minimal idle time and fast convergence. We show through extensive experiments that our approach significantly outperforms previous work in data and computationally heterogeneous environments.

연구 동기 및 목표

• 데이터 및 계산 이질성 하에서 분산학습의 통신 효율성과 수렴 속도 사이의 상충 관계를 해결하기 위해.
• 동기화 중 최소한의 대기 시간을 유지하면서도 높은 통신 효율성을 확보하는 분산학습 프로토콜을 설계하기 위해.
• 다양한 데이터 분포와 계산 능력을 지닌 클라이언트들이 존재하는 실제 환경에서 모델 수렴을 향상시키기 위해.
• 동기 FL(효율적이나 느림)과 비동기 FL(빠르지만 비용이 큼) 사이의 격차를 해소하기 위해 하이브리드 접근 방식을 도입하기 위해.

제안 방법

• 프로토콜은 주기적인 글로벌 모델 집계와 로컬 학습 단계를 조합한 하이브리드 동기화 전략을 사용하여 대기 시간을 줄인다.
• 클라이언트는 정해진 라운드 수 동안 로컬으로 학습한 후 업데이트된 모델을 중앙 서버와 동기화한다.
• 시스템은 클라이언트의 참여를 동적으로 관리하여 부하를 균형 잡고 느린 또는 응답하지 않는 클라이언트로 인한 지연을 줄인다.
• 동기화는 정기적으로 이루어지며, 이로 인해 언제나 일부 클라이언트만 활성화되어 대기 시간을 최소화한다.
• 이 접근 방식은 중심 서버를 통해 모델 집계 및 배포를 조율하여 클라이언트 간 일관성을 유지한다.
• 클라이언트는 가용성과 계산 능력을 기반으로 선택되어 학습 효율성과 수렴 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 분산학습이 이질적인 환경에서 낮은 통신 오버헤드를 유지하면서도 더 빠른 수렴을 달성할 수 있는가?
• RQ2 어떤 동기화 전략이 다양한 클라이언트 능력이 존재하는 분산학습에서 대기 시간을 최소화하고 학습 효율성을 향상시킬 수 있는가?
• RQ3 동기 및 비동기 FL 간의 하이브리드 접근 방식이 수렴 속도와 통신 비용 측면에서 둘 다를 능가할 수 있는가?
• RQ4 반동기 동기화를 사용할 경우 데이터 및 계산 이질성 하에서 모델 성능은 어떻게 변화하는가?
• RQ5 어떤 클라이언트 선별 및 동기화 주기 전략이 학습 효율성과 모델 정확도를 최대화하는가?

주요 결과

• 제안된 반동기적 분산학습 프로토콜은 이질적인 환경에서 순수 비동기 방법보다 유의미하게 더 빠른 수렴을 달성한다.
• 통신 비용은 비동기 FL보다 상당히 낮으며, 동기 프로토콜의 효율성에 가까워진다.
• 기존 접근 방식보다 더 효과적인 클라이언트 참여 조율 덕분에 동기화 중 대기 시간을 줄였다.
• 더 자주이고 안정적인 글로벌 모델 업데이트 덕분에 다양한 데이터 분포에서 모델 정확도가 향상된다.
• 다양한 클라이언트의 계산 능력에 걸쳐도 뛰어난 성능을 보이며, 동기 및 비동기 기준선을 모두 능가한다.
• 어떤 클라이언트가 느리거나 간헐적으로 이용 가능하더라도 높은 학습 효율성을 유지한다.