[논문 리뷰] ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training

Hui‐Po Wang, Sebastian U. Stich외 2명|arXiv (Cornell University)|2021. 10. 11.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 13

한 줄 요약

ProgFed는 전체 모델로 확장하기 전에 점진적으로 얕은 하위모델을 훈련하는 새로운 플랫폼 학습 프레임워크를 제안한다. 이는 계산 비용과 양방향 통신 비용을 모두 감소시킨다. 표준 훈련 대비 최대 63%의 통신 감소와 20%의 계산 감소를 달성하면서 모델 성능을 유지하며, 압축 기법과 결합할 경우 최대 50배의 통신 감소를 가능하게 한다.

ABSTRACT

Federated learning is a powerful distributed learning scheme that allows numerous edge devices to collaboratively train a model without sharing their data. However, training is resource-intensive for edge devices, and limited network bandwidth is often the main bottleneck. Prior work often overcomes the constraints by condensing the models or messages into compact formats, e.g., by gradient compression or distillation. In contrast, we propose ProgFed, the first progressive training framework for efficient and effective federated learning. It inherently reduces computation and two-way communication costs while maintaining the strong performance of the final models. We theoretically prove that ProgFed converges at the same asymptotic rate as standard training on full models. Extensive results on a broad range of architectures, including CNNs (VGG, ResNet, ConvNets) and U-nets, and diverse tasks from simple classification to medical image segmentation show that our highly effective training approach saves up to $20\%$ computation and up to $63\%$ communication costs for converged models. As our approach is also complimentary to prior work on compression, we can achieve a wide range of trade-offs by combining these techniques, showing reduced communication of up to $50 imes$ at only $0.1\%$ loss in utility. Code is available at https://github.com/hui-po-wang/ProgFed.

연구 동기 및 목표

• 모델 성능을 희생시키지 않고 플랫폼 학습에서의 통신 및 계산 비용을 줄이는 것.
• 중앙집중형 훈련에서 흔히 사용되는 점진적 학습을 플랫폼 환경에 활용하여 효율성을 향상시키는 것.
• 완전 모델 훈련과 유사한 수렴 속도를 유지하면서 동시에 반복당 자원 요구량을 줄이는 프레임워크를 설계하는 것.
• 기존 플랫폼 학습 압축 및 최적화 기법과의 호환성을 확보하는 것.
• 모든 훈련 단계에서 유용한 성능을 제공하는 anytime 학습을 가능하게 하는 것.

제안 방법

• ProgFed는 얕은 레이어에서 시작하여 점차 확장되는 겹치는 부분을 가진 점진적으로 성장하는 하위모델들로 모델을 분할한다.
• 점진적 단계 동안 훈련을 이끄는 가벼운 로컬 감독 헤드를 각 하위모델에 도입한다.
• 훈련은 가장 얕은 하위모델에서 시작하여 점차 전체 모델로 확장되며, 능력이 점차 증가한다.
• 이 프레임워크는 이론적으로 표준 완전 모델 훈련과 동일한 渐진 수렴 속도를 보장한다.
• 더 작은 하위모델이 클라이언트와 서버 간의 데이터 교환을 줄이므로, 이중 통신 절감이 가능하다.
• 전통적 압축(예: 양자화, 희소화) 및 플랫폼 학습 최적화 알고리즘(FedAvg, FedProx, FedAdam 등)과 호환된다.

실험 결과

연구 질문

• RQ1 플랫폼 학습에서 점진적 훈련이 모델 성능을 유지하면서도 통신 및 계산 비용을 줄일 수 있는가?
• RQ2 플랫폼 학습에서 점진적 훈련이 표준 완전 모델 훈련과 동일한 수렴 속도를 유지하는가?
• RQ3 다양한 작업과 아키텍처에서 제한된 대역폭 및 계산 자원 조건 하에서 ProgFed는 어떻게 성능을 발휘하는가?
• RQ4 ProgFed는 기존의 압축 및 최적화 기법과 효과적으로 조합될 수 있는가?
• RQ5 점진적 훈련은 언제나 유용한 모델을 제공하는 anytime 학습을 가능하게 하는가?

주요 결과

• 표준 훈련 대비 플랫폼 세그멘테이션 작업에서 ProgFed는 계산 비용을 최대 20% 감소시키고, 이중 통신 비용을 최대 63% 감소시킨다.
• 플랫폼 분류 작업에서는 동일한 에포크 수에서 이중 통신 비용을 최대 32% 감소시키고, 계산 비용을 최대 25% 절감한다.
• 압축과 결합할 경우 ProgFed는 통신 비용을 최대 50배까지 감소시키며, 모델 유용성 손실은 오직 0.1%에 불과하다.
• 무작위 하위모델 선택 및 계층별 미세조정 대비 ProgFed는 점진적 훈련이 최적 성능을 달성하는 데 필수적임을 입증한다.
• FedAdam과 같은 고급 최적화 방법과 함께 사용할 경우, 표준 훈련 대비 최대 4% 높은 정확도를 달성한다.
• 학습 곡선 아래 면적은 기준 모델 대비 일관되게 더 크며, 강력한 anytime 학습 성능을 나타낸다.