[논문 리뷰] Multi-Task Federated Learning for Personalised Deep Neural Networks in Edge Computing

Jed Mills, Jia Hu외 1명|arXiv (Cornell University)|2020. 07. 17.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 17

한 줄 요약

이 논문은 엣지 컴퓨팅 환경에서 개인화된 딥 네트워크 성능을 향상시키기 위해 로컬 클라이언트에 배치 정규화(BN) 레이어를 유지하는 다중 작업 연합 학습(MTFL)을 제안한다. 이를 통해 민감한 모델 파라미터 공유 없이도 빠른 수렴 속도와 높은 사용자 모델 정확도(UA)를 달성한다. MTFL는 표준 FedAvg 대비 최대 5배, FedAvg-Adam 대비 최대 3배까지 학습 라운드를 줄이며, 최신 개인화된 연합 학습 방법을 능가한다.

ABSTRACT

Federated Learning (FL) is an emerging approach for collaboratively training Deep Neural Networks (DNNs) on mobile devices, without private user data leaving the devices. Previous works have shown that non-Independent and Identically Distributed (non-IID) user data harms the convergence speed of the FL algorithms. Furthermore, most existing work on FL measures global-model accuracy, but in many cases, such as user content-recommendation, improving individual User model Accuracy (UA) is the real objective. To address these issues, we propose a Multi-Task FL (MTFL) algorithm that introduces non-federated Batch-Normalization (BN) layers into the federated DNN. MTFL benefits UA and convergence speed by allowing users to train models personalised to their own data. MTFL is compatible with popular iterative FL optimisation algorithms such as Federated Averaging (FedAvg), and we show empirically that a distributed form of Adam optimisation (FedAvg-Adam) benefits convergence speed even further when used as the optimisation strategy within MTFL. Experiments using MNIST and CIFAR10 demonstrate that MTFL is able to significantly reduce the number of rounds required to reach a target UA, by up to $5 imes$ when using existing FL optimisation strategies, and with a further $3 imes$ improvement when using FedAvg-Adam. We compare MTFL to competing personalised FL algorithms, showing that it is able to achieve the best UA for MNIST and CIFAR10 in all considered scenarios. Finally, we evaluate MTFL with FedAvg-Adam on an edge-computing testbed, showing that its convergence and UA benefits outweigh its overhead.

연구 동기 및 목표

• 비독립 동일 분포(non-IID) 데이터로 인해 수렴 및 글로벌 모델 성능에 악영향을 미치는 연합 학습(FL)의 과제를 해결하기 위해.
• 콘텐츠 추천과 같은 응용 분야에서 실제 목표인 개별 사용자 모델 정확도(UA)를 향상시키기 위해, 글로벌 모델 정확도가 아닌 UA를 우선시하기 위해.
• 개인화된 FL의 통신 및 저장 오버헤드를 줄이기 위해 전체 모델 업로드나 추가 학습 단계를 피하기 위해.
• BN 통계와 같은 민감한 모델 파라미터를 각 클라이언트가 비공개로 유지함으로써 데이터 프라이버시를 유지하기 위해.
• 이질적인 기기들을 포함한 현실적인 엣지 컴퓨팅 테스트베드에서 MTFL의 효과를 평가하기 위해.

제안 방법

• MTFL는 각 클라이언트에서 로컬로 학습되며 서버에 공유되지 않는 비연합 학습 배치 정규화(BN) 레이어를 도입하여 모델 개인화를 가능하게 한다.
• 이 방법은 각 클라이언트가 자신의 BN 파라미터를 최적화하면서도 나머지 DNN 가중치는 연합 평균을 통해 공유하는 다중 작업 학습 프레임워크를 사용한다.
• MTFL는 표준 FL 최적화 알고리즘인 FedAvg와 호환되며, 더 빠른 수렴을 위해 분산 Adam 버전인 FedAvg-Adam으로도 확장 가능하다.
• BN 레이어의 학습 가능한 파라미터(γ, β)만을 라운드 간에 저장하고 공유함으로써 저장 및 통신 비용을 크게 절감한다.
• 이 접근법은 BN 레이어가 현지 데이터 분포에 적응함으로써 프라이버시를 해치지 않으면서도 로컬 모델 성능을 향상시킬 수 있음을 활용한다.
• 실험은 MNIST와 CIFAR10을 사용하여 비독립 동일 분포 데이터 분할을 적용해 UA, 수렴 속도, 통신 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 비독립 동일 분포 데이터 환경에서 전체 모델 공유 없이 개인화를 허용하는 연합 학습 프레임워크가 사용자 모델 정확도(UA)를 향상시킬 수 있는가?
• RQ2 비연합 학습 BN 레이어를 연합 환경에서 사용할 경우, 표준 FedAvg 대비 목표 UA에 도달하기 위한 학습 라운드 수가 감소하는가?
• RQ3 MTFL와 FedAvg-Adam의 조합이 다른 개인화된 FL 방법에 비해 수렴 속도와 최종 UA 측면에서 어떻게 비교되는가?
• RQ4 실제 엣지 컴퓨팅 테스트베드에서 MTFL의 통신 오버헤드는 성능 향상에 비례하여 정당화되는가?
• RQ5 MTFL는 저장 및 계산 오버헤드를 더 낮게 유지하면서도 최신 개인화된 FL 방법보다 더 높은 UA를 달성할 수 있는가?

주요 결과

• MTFL(FedAvg)는 MNIST 및 CIFAR10 양쪽 모두에서 표준 FedAvg 대비 목표 UA에 도달하기 위한 라운드 수를 최대 5배까지 줄였다.
• MTFL 내에서 FedAvg-Adam을 사용하면 FedAvg 대비 라운드 수를 최대 3배까지 줄이며, 더 빠른 수렴 속도를 입증했다.
• 모든 테스트 시나리오에서 MTFL는 MNIST 및 CIFAR10 양쪽 모두에서 평균 사용자 모델 정확도(UA)가 가장 높았으며, Per-FedAvg 및 pFedMe를 능가했다.
• 모델 패치에 학습 가능한 BN 파라미터(γ, β)를 사용할 경우 통계(μ, σ)를 사용하는 것보다 수렴 속도가 더 빠르며, 이는 개인화 과정에서의 중요성을 시사한다.
• 10대의 라즈베리 파이 기기로 구성된 실제 MEC 테스트베드에서 MTFL(FedAvg-Adam)의 통신 비용 증가는 UA 향상과 수렴 속도 향상의 명확한 성과에 비해 지배적일 정도로 상쇄되었다.
• MTFL는 전체 모델이 아닌 BN 레이어 파라미터만 저장하고 공유하기 때문에, 경쟁하는 개인화된 FL 방법보다 낮은 저장 및 계산 오버헤드를 유지한다.