[논문 리뷰] ELFISH: Resource-Aware Federated Learning on Heterogeneous Edge Devices.

Zirui Xu, Yang Zhao외 3명|arXiv (Cornell University)|2019. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 7인용 수 51

한 줄 요약

ELFISH는 자원을 고려하는 분산 학습 프레임워크로, 훈련 중 자원을 많이 소비하는 뉴런을 동적으로 마스킹하고 새로운 매개변수 집합 기반으로 복구함으로써 이질적인 엣지 디바이스에서 훈련을 가속화한다. 계산 능력이 떨어지는 디바이스를 제거하면서도 협업 수렴을 보장함으로써 최대 2배의 훈련 속도 향상과 4% 높은 정확도를 달성한다.

ABSTRACT

In this work, we propose ELFISH - a resource-aware federated learning framework to tackle computation stragglers in federated learning. In ELFISH, neural network models' training consumption will be firstly profiled in terms of different computation resources. Guided by profiling, a method is proposed for straggler acceleration, which partially trains the model by masking a particular number of resource-intensive neurons. Rather than generating a deterministically optimized model with diverged structure, different sets of neurons will be dynamically masked every training cycle and will be recovered and updated during parameter aggregation, ensuring comprehensive model updates overtime. The corresponding parameter aggregation scheme is also proposed to balance the contribution from soft-trained models and guarantee the collaborative convergence. Eventually, ELFISH overcomes the computational heterogeneity of edge devices and achieves synchronized collaboration without computational stragglers. Experiments show that ELFISH can provide up to 2x training acceleration with soft-training in various straggler settings. Furthermore, benefited from the proposed parameter aggregation scheme, ELFISH improves the model accuracy for 4% with even better collaborative convergence robustness.

연구 동기 및 목표

• 기기 이질성으로 인한 분산 학습에서의 계산 능력이 떨어지는 디바이스 문제를 해결하기 위해.
• 다양한 계산 자원을 가진 엣지 디바이스 간의 동기화된 협업을 가능하게 하기 위해.
• 부분적으로 학습된 모델의 기여도를 균형 있게 조정하는 매개변수 집합 기반 설계를 위해.
• 모델 구조를 변경하지 않고도 정확도와 수렴 안정성을 향상시키기 위해.
• 동적 뉴런 마스킹을 통한 소프트 훈련을 통해 훈련 가속화를 달성하기 위해.

제안 방법

• 다양한 자원에서의 계산 소비를 정량화하기 위해 신경망 모델을 프로파일링하는 것.
• 각 훈련 사이클에서 자원을 많이 소비하는 뉴런의 일부를 동적으로 마스킹하여 계산 부담을 줄이는 것.
• 매개변수 집합 과정에서 마스킹된 뉴런을 복구하고 업데이트하여 포괄적인 모델 업데이트를 보장하는 것.
• 소프트 훈련된 모델의 기여도를 균형 있게 조정하는 매개변수 집합 기반 설계를 제안하는 것.
• 모델 업데이트 품질과 기기 기여도를 고려한 가중치 집합 전략을 사용하는 것.
• 다양한 훈련 부하를 가진 기기 간의 모델 일관성을 유지함으로써 협업 수렴을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 이질적인 엣지 디바이스에서의 분산 학습에서 계산 능력이 떨어지는 디바이스 문제는 어떻게 완화할 수 있는가?
• RQ2 어떤 동적 마스킹 전략이 구조적 분리 없이 효율적인 소프트 훈련을 가능하게 하는가?
• RQ3 매개변수 집합 과정에서 부분적으로 학습된 모델을 처리하면서도 정확도를 유지할 수 있는가?
• RQ4 동적 마스킹이 훈련 속도 향상과 수렴 안정성 향상에 어느 정도 기여하는가?
• RQ5 자원을 고려하는 훈련 방식은 분산 학습에서 속도 향상과 정확도 향상을 동시에 달성할 수 있는가?

주요 결과

• ELFISH는 동적 뉴런 마스킹을 통해 다양한 능력 떨어지는 디바이스 설정에서 최대 2배의 훈련 가속화를 달성한다.
• 기본 방법 대비 4% 높은 정확도를 확보함으로써 모델 정확도를 향상시킨다.
• 제안된 매개변수 집합 기반 설계가 협업 수렴 안정성을 향상시킨다.
• 동적 마스킹은 이질적인 계산 능력을 가진 기기 간의 동기화된 훈련을 가능하게 한다.
• 뉴런 마스킹을 통한 소프트 훈련은 모델 무결성을 유지하고 구조적 분리 문제를 방지한다.
• ELFISH는 실세계 엣지 환경에서 계산 효율성과 모델 성능 간의 효과적인 균형을 달성한다.