[논문 리뷰] Coded Computing for Federated Learning at the Edge

Saurav Prakash, Sagar Dhakal외 3명|arXiv (Cornell University)|2020. 07. 07.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 10

한 줄 요약

이 논문은 비선형 회귀 및 분류 작업으로 Coded Federated Learning(CFL)을 확장하기 위해 랜덤 푸리에 특징을 활용하여 학습을 분산 선형 회귀로 변환하는 코딩된 계산 프레임워크인 CodedFedL을 제안한다. 클라이언트에서 비공개 파리티 데이터 생성과 분석적 로드 할당 최적화를 통해 CodedFedL은 코드 없이 FL을 사용할 경우 대비 최대 2.7배 빠른 수렴을 달성한다. MNIST에서 오직 10%의 코딩 부족률로도 성능 향상을 이룬다.

ABSTRACT

Federated Learning (FL) is an exciting new paradigm that enables training a global model from data generated locally at the client nodes, without moving client data to a centralized server. Performance of FL in a multi-access edge computing (MEC) network suffers from slow convergence due to heterogeneity and stochastic fluctuations in compute power and communication link qualities across clients. A recent work, Coded Federated Learning (CFL), proposes to mitigate stragglers and speed up training for linear regression tasks by assigning redundant computations at the MEC server. Coding redundancy in CFL is computed by exploiting statistical properties of compute and communication delays. We develop CodedFedL that addresses the difficult task of extending CFL to distributed non-linear regression and classification problems with multioutput labels. The key innovation of our work is to exploit distributed kernel embedding using random Fourier features that transforms the training task into distributed linear regression. We provide an analytical solution for load allocation, and demonstrate significant performance gains for CodedFedL through experiments over benchmark datasets using practical network parameters.

연구 동기 및 목표

• 이석성 다중접속 엣지 컴퓨팅(MEC) 네트워크에서 이석성으로 인한 지연을 해결하기 위해.
• 원래 스칼라 출력에 국한된 선형 회귀에만 적용 가능했던 Coded Federated Learning(CFL)을 일반적인 비선형 및 다중 출력 분류/회귀 작업으로 확장하기 위해.
• 클라이언트 측에서 랜덤 푸리에 특징 매핑과 파리티 데이터 생성을 통해 기밀 보장된 계산 부족률을 가능하게 하기 위해.
• 수치 최적화를 피하기 위해 최적의 스트래글러 방지 전략을 위한 분석적 로드 할당 정책을 개발하기 위해.
• 실제 네트워크 조건에서 실세계 데이터셋을 사용하여 수렴 속도 향상의 뚜렷한 성과를 입증하기 위해.

제안 방법

• 커널 근사에 랜덤 푸리에 특징을 활용하여 비선형 학습 작업을 분산 선형 회귀로 변환한다.
• 랜덤 특징과 벡터 레이블(예: 원-핫 인코딩)의 선형 조합을 통해 클라이언트에서 코딩된 파리티 데이터를 생성하여 데이터 기밀성을 유지한다.
• 서버에서 비이석성 클라이언트 업데이트와 파리티 데이터에 대한 부족한 서버 측 계산을 조합하는 코딩된 기울기 집계 전략을 사용한다.
• 기대 수익에 대한 조각형 볼록 최적화 문제로 로드 할당 문제를 수식화하여 표준 볼록 최적화 도구로 해결할 수 있도록 한다.
• 라메르트 W-함수를 사용하여 최적의 로드 할당에 대한 닫힌 형식의 해를 유도하여 효율적인 이진 탐색 기반 최적화를 가능하게 한다.
• 이석성 클라이언트를 보완하기 위해 서버 수준에서 코딩 부족률을 적용하여 데이터 공유 없이도 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 Coded Federated Learning는 비선형 및 다중 출력 학습 작업으로 확장될 수 있으며, 이 과정에서 데이터 기밀성이 유지될 수 있는가?
• RQ2 랜덤 푸리에 특징을 통한 커널 임bedding는 비선형 모델에 코딩 이론 기반의 부족률을 적용하는 데 어떻게 기여하는가?
• RQ3 이석성 클라이언트가 존재할 경우 최소한의 훈련 시간을 달성하기 위한 최적의 로드 할당 정책은 무엇인가?
• RQ4 분석적 로드 할당 전략은 수치적 접근 방식과 비교해 수렴 속도와 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 실세계 엣지 학습 환경에서 CodedFedL은 코드 없이 FL을 사용할 경우에 비해 어떤 성능 향상을 달성하는가?

주요 결과

• CodedFedL은 오직 10%의 코딩 부족률로 MNIST 데이터셋에서 기존 코드 없는 기준 대비 2.7배 빠른 수렴 시간을 달성한다.
• 패션-MNIST의 경우 동일한 부족률 수준에서 CodedFedL은 2.37배 빠른 수렴 시간을 기록한다.
• 라메르트 W-함수를 기반으로 한 분석적 로드 할당 정책은 효율적인 최적화를 가능하게 하며, 기다림 시간이 증가함에 따라 단조증가하는 특성을 가지며 시간이 지남에 따라 수익이 향상됨을 보장한다.
• 기대 집계 수익 함수는 조각형 볼록 함수이므로 표준 볼록 최적화 기법을 사용해 볼록 부분문제로 분해할 수 있다.
• 최소한의 부족률로도 전체 기울기 집계에 가까운 근사치를 유지함으로써 CodedFedL은 높은 모델 정확도를 유지한다.
• 이 프레임워크는 이질적인 MEC 환경에서 이석성 영향을 효과적으로 완화하여 현실적인 무선 및 계산 제약 조건 하에서도 훈련 시간을 크게 단축시킨다.