[논문 리뷰] Adaptive Federated Dropout: Improving Communication Efficiency and Generalization for Federated Learning

Nader Bouacida, Jiahui Hou외 2명|arXiv (Cornell University)|2020. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 9

한 줄 요약

이 논문은 활성도 점수를 기반으로 로컬 학습을 위한 하위모델을 동적으로 선택함으로써 통신 및 계산 비용을 줄이는 통신 효율적인 플랫폼 학습 방법인 적응형 피드포워드 드롭아웃(Adaptive Federated Dropout, AFD)을 제안한다. AFD는 수렴 시간을 최대 57배 빠르게 하고, 최신 기술 대비 일반화 성능을 1.7% 향상시킨다.

ABSTRACT

With more regulations tackling users' privacy-sensitive data protection in recent years, access to such data has become increasingly restricted and controversial. To exploit the wealth of data generated and located at distributed entities such as mobile phones, a revolutionary decentralized machine learning setting, known as Federated Learning, enables multiple clients located at different geographical locations to collaboratively learn a machine learning model while keeping all their data on-device. However, the scale and decentralization of federated learning present new challenges. Communication between the clients and the server is considered a main bottleneck in the convergence time of federated learning. In this paper, we propose and study Adaptive Federated Dropout (AFD), a novel technique to reduce the communication costs associated with federated learning. It optimizes both server-client communications and computation costs by allowing clients to train locally on a selected subset of the global model. We empirically show that this strategy, combined with existing compression methods, collectively provides up to 57x reduction in convergence time. It also outperforms the state-of-the-art solutions for communication efficiency. Furthermore, it improves model generalization by up to 1.7%.

연구 동기 및 목표

• 느린 또는 불안정한 클라이언트 연결으로 인해 발생하는 대규모 모델 업데이트로 인한 플랫폼 학습의 통신 병목 현상을 해결하기 위해.
• 모델 성능을 훼손하지 않고도 플랫폼 학습의 통신 및 계산 오버헤드를 줄이기 위해.
• 각 라운드당 클라이언트가 모델 가중치의 부분 집합만 학습함으로써 데이터 전송을 최소화하면서도 모델 일반화를 향상시키기 위해.
• 이종적이고 비독립적 동일분포(Non-IID) 데이터 환경에서 동적 하위모델 선택의 수렴 속도 및 강건성에 미치는 영향을 탐색하기 위해.
• 기존의 압축 기법(예: DGC)과 AFD를 조합하여 효율성을 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• AFD는 클라이언트 기울기 또는 손실에서 유도된 활성도 점수 맵을 기반으로 전역 모델 가중치의 부분집합을 로컬 학습을 위해 동적으로 선택한다.
• 활성도 점수 맵은 매 라운드마다 선택된 클라이언트의 평균 손실을 사용하여 업데이트되며, 이는 영향력이 큰 파라미터를 적응적으로 선택하는 데 기여한다.
• 클라이언트는 선택된 하위모델만 학습하고 업데이트하며, 서버로 전송하는 모델 업데이트의 크기를 줄인다.
• 서버는 이러한 부분 업데이트를 통합하여 전역 모델을 갱신하며, 클라이언트 간 일관성을 유지한다.
• AFD는 모델 압축(예: DGC)과 조합되어 추가로 통신 오버헤드를 줄인다.
• 단일 모델 AFD 변종이 도입되었으며, 클라이언트별 맵 대신 공유된 활성도 맵을 사용하지만, 비독립적 동일분포(Non-IID) 환경에서는 성능이 열 劣하다.

실험 결과

연구 질문

• RQ1 활성도 점수를 통한 동적 하위모델 선택이 플랫폼 학습에서 통신 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ2 AFD는 모델 정확도나 일반화 성능을 떨어뜨리지 않고 통신 비용을 줄일 수 있는가?
• RQ3 AFD는 기존의 방법들(예: 피드포워드 드롭아웃 및 DGC)에 비해 수렴 시간과 정확도 측면에서 어떻게 비교되는가?
• RQ4 비독립적 동일분포(Non-IID) 데이터 설정에서 클라이언트 참가 비율이 AFD 성능에 어떤 영향을 미치는가?
• RQ5 단일 모델 AFD에서 공유된 활성도 맵 사용이 이종적 데이터 환경에서 성능을 유지하는가?

주요 결과

• AFD는 기준 플랫폼 학습 대비 최대 57배 빠른 수렴 시간을 달성하며, 최신 기술 대비 최대 13배 빠른 성능을 보였다.
• FEMNIST 데이터셋에서 AFD + DGC는 58.1분 만에 86.2%의 정확도를 달성했으며, 기준 대비 53배 빠른 수렴을 보였다.
• Shakespeare 데이터셋에서 AFD + DGC는 12.4분 만에 53.7%의 정확도를 달성했으며, 기준 대비 57배 빠른 수렴을 보였다.
• Sentiment140 데이터셋에서 AFD + DGC는 52.6분 만에 85.3%의 정확도를 달성했으며, 기준 대비 55배 빠른 수렴을 보였다.
• AFD는 기준 및 최신 기술 대비 최대 1.7% 향상된 모델 일반화 성능을 보였다.
• 비독립적 동일분포(Non-IID) 설정에서 단일 모델 AFD 변종은 이종 클라이언트 간 평균 손실 계산이 불안정하여 일반화 성능이 떨어졌다.