[논문 리뷰] Helios: Heterogeneity-Aware Federated Learning with Dynamically Balanced Collaboration

Zirui Xu, Fuxun Yu외 2명|arXiv (Cornell University)|2019. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 19

한 줄 요약

Helios는 이질성 인식형 분산 학습 프레임워크로, 스트래글러를 식별하고 라운딩 뉴런 학습을 통해 약한 장치에서 모델을 압축하는 '소프트 학습' 방법을 사용하여 동적으로 협업을 균형 잡는다. 이로 인해 비순차적 또는 기각되는 접근 방식에서 손실될 수 있는 핵심 학습 정보를 유지하면서도, 비아이디얼 데이터 분포 설정에서도 수렴성과 학습 무결성을 유지하면서 최대 2.5배의 학습 속도 향상과 최대 4.64%의 정확도 향상을 달성한다.

ABSTRACT

In this paper, we propose Helios, a heterogeneity-aware FL framework to tackle the straggler issue. Helios identifies individual devices' heterogeneous training capability, and therefore the expected neural network model training volumes regarding the collaborative training pace. For straggling devices, a "soft-training" method is proposed to dynamically compress the original identical training model into the expected volume through a rotating neuron training approach. With extensive algorithm analysis and optimization schemes, the stragglers can be accelerated while retaining the convergence for local training as well as federated collaboration.

연구 동기 및 목표

• 이질적인 엣지 장치의 계산 능력 격차로 인해 발생하는 분산 학습에서의 스트래글러 문제를 해결하기 위해.
• 비순차적 또는 기각되는 접근 방식에서 손실될 수 있는 스트래글러로부터의 핵심 학습 정보를 유지하기 위해.
• 저자원 장치에서의 학습을 가속화하면서도 글로벌 모델의 수렴성과 학습 무결성을 유지하기 위해.
• 모델 압축 품질 저하 없이 장치별 학습 능력에 맞게 적응하는 동적 협업 메커니즘을 설계하기 위해.

제안 방법

• Helios는 시간 기반 근사 및 자원 기반 프로파일링을 사용하여 장치별 학습 소비량을 프로파일링하여 스트래글러를 식별한다.
• 스트래글러에서 다른 뉴런 그룹을 순차적으로 학습시켜 원본 모델을 동적으로 압축하는 '소프트 학습' 메커니즘을 도입한다.
• 소프트 학습 접근 방식은 모든 모델 파라미터가 주기적으로 업데이트되도록 보장하여 모델의 무결성을 유지하고 영구적인 압축을 방지한다.
• 협업 중 부분적인 모델 업데이트로 인한 정확도 변동을 줄이기 위해 모델 집계 최적화 기법을 적용한다.
• 적응형 모델 크기 조정을 통해 동기화된 집계를 유지하면서 스트래글러의 참여를 가속화한다.

실험 결과

연구 질문

• RQ1 장치별 계산 이질성에 기반하여 분산 학습에서 스트래글러를 어떻게 식별할 수 있는가?
• RQ2 동적 모델 압축 전략은 저용량 장치에서의 학습 가속화를 위해 수렴성과 학습 무결성을 유지할 수 있는가?
• RQ3 제안된 소프트 학습 방법은 정확도와 수렴 속도 측면에서 비순차적 또는 무작위 모델 압축과 비교해 어떻게 성능을 냈는가?
• RQ4 Helios는 비아이디얼 데이터 분포 하에서 성능을 얼마나 향상시키는가?

주요 결과

• Helios는 여러 컨볼루션 신경망 모델과 데이터셋에서 최신 기술 대비 최대 2.5배의 학습 속도 향상을 달성한다.
• 기본 기반 방법 대비 수렴 정확도를 최대 4.64% 향상시키며, 특히 다수의 스트래글러가 존재하는 설정에서 뚜렷한 성능 향상을 보인다.
• 비아이디얼 데이터 분포 설정에서 Helios는 수렴 정확도와 수렴 속도 면에서 동기 및 비동기 FL 기반 방법을 모두 능가한다.
• Helios의 모델 집계 최적화 기법은 최적화 없이 소프트 학습을 수행한 경우 대비 정확도 변동을 최대 17.37% 감소시킨다.
• 6대의 장치를 사용할 경우, Helios는 MNIST, CIFAR-10, CIFAR-100에 대해 각각 4, 12, 40회의 집계 사이클 내에 수렴을 달성하여 빠른 수렴을 이룬다.