[논문 리뷰] Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework

Qiong Wu, Kaiwen He외 1명|arXiv (Cornell University)|2020. 02. 25.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 27

한 줄 요약

이 논문은 기기, 통계적, 모델 이질성을 해결함으로써 스마트 IoT 응용 프로그램을 위한 개인화된 모델 훈련을 가능하게 하는 클라우드-에지 분산 학습 프레임워크인 PerFit을 제안한다. 에지 컴퓨팅과 개인화된 분산 학습 기법(예: 분산 정렬 및 전이 학습)을 통합함으로써 PerFit는 표준 분산 학습 대비 최대 11.12% 높은 정확도를 달성하면서도 통신 오버헤드를 줄여 실제 IoT 환경에 대한 뛰어난 성능과 확장성을 입증한다.

ABSTRACT

Internet of Things (IoT) have widely penetrated in different aspects of modern life and many intelligent IoT services and applications are emerging. Recently, federated learning is proposed to train a globally shared model by exploiting a massive amount of user-generated data samples on IoT devices while preventing data leakage. However, the device, statistical and model heterogeneities inherent in the complex IoT environments pose great challenges to traditional federated learning, making it unsuitable to be directly deployed. In this article we advocate a personalized federated learning framework in a cloud-edge architecture for intelligent IoT applications. To cope with the heterogeneity issues in IoT environments, we investigate emerging personalized federated learning methods which are able to mitigate the negative effects caused by heterogeneity in different aspects. With the power of edge computing, the requirements for fast-processing capacity and low latency in intelligent IoT applications can also be achieved. We finally provide a case study of IoT based human activity recognition to demonstrate the effectiveness of personalized federated learning for intelligent IoT applications.

연구 동기 및 목표

• 기존 분산 학습을 방해하는 IoT 환경에서의 기기, 통계적, 모델 이질성 문제를 해결하기 위해.
• 개별 IoT 기기의 높은 정확도 개인화 모델 훈련을 데이터 프라이버시를 훼손하지 않도록 가능하게 하기 위해.
• 에지 컴퓨팅을 활용해 분산 IoT 학습에서 지연 시간과 통신 비용을 줄이기 위해.
• 인간 활동 인식과 같은 실제 IoT 응용 프로그램에서 개인화된 분산 학습의 효과성을 평가하기 위해.
• 개인이화가 이질적인 클라이언트 간 성능 일관성 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 에지 서버가 모델 집계 및 개인화를 담당하는 클라우드-에지 아키텍처를 제안하여 중심 클라우드의 부담을 줄인다.
• 네 가지 개인화된 분산 학습 기법을 통합: 분산 전이 학습, 분산 메타학습, 분산 다중 작업 학습, 분산 정렬.
• 분산 정렬을 통해 소프트 레이블 출력을 통한 지식 전달을 통해 모델 이질성 지원을 실현하고, 통신 페이로드를 1라운드당 5,000으로 줄여 모델 파라미터 전송 대비 33,698보다 크게 감소시킨다.
• 에지 클라이언트에 경량 모델(3NN 및 CNN)을 사용하고 계산 부담을 근처 에지 노드로 이관하여 지연 시간과 에너지 소비를 줄인다.
• 에지에서 차등 프라이버시 및 동형 암호화와 같은 프라이버시 보존 기법을 적용하여 데이터 보안을 강화한다.
• 중앙 클라우드 서버를 활용해 글로벌 모델 업데이트를 조율하고 지식 공유를 가능하게 하면서도 데이터 국지성 유지

실험 결과

연구 질문

• RQ1 비IIDs 및 이질적 데이터 환경에서 개인화된 분산 학습이 개별 IoT 기기의 모델 정확도 향상에 기여할 수 있는가?
• RQ2 에지 컴퓨팅은 자원 제약이 있는 IoT 시스템에서 분산 학습의 성능과 확장성에 어떻게 기여하는가?
• RQ3 개인화된 분산 학습에서 높은 모델 정확도를 유지하면서 통신 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 개인이화가 분산 학습에서 통계적 및 모델 이질성으로 인한 성능 저하를 어떻게 완화하는가?
• RQ5 통합된 클라우드-에지 프레임워크는 실제 IoT 응용 프로그램에서 여러 개인화된 분산 학습 방법을 효과적으로 지원할 수 있는가?

주요 결과

• PerFit는 3NN를 사용한 분산 전이 학습을 통해 테스트 정확도 95.37%를 달성했으며, 이는 표준 분산 학습(FL-3NN) 대비 11.12% 높은 성능이다.
• 분산 정렬(FD)은 표준 분산 학습(FL-CNN) 대비 정확도를 5.69% 향상시켰으며, 클라이언트 간 성능 변동성을 크게 감소시켰다.
• 박스플롯 분석 결과, 개인화된 분산 학습이 30개 클라이언트 간 정확도 변동을 줄여 모든 클라이언트가 좁은 범위 내에서 일관된 성능을 보임을 확인했다.
• 분산 정렬에서는 통신 오버헤드가 크게 감소하여, 라운드당 페이로드가 단지 5,000(출력 점수 기반)으로 줄었고, 모델 파라미터 전송 대비 33,698보다 훨씬 낮았다.
• 모든 개인화된 분산 학습 기법이 90% 이상의 정확도를 달성하여 대규모 IoT 응용 프로그램에서의 강건성과 확장성을 입증했다.
• FD-1 및 FD-2 설정에서 클라이언트가 서로 다른 로컬 모델(3NN 또는 CNN)을 사용하더라도 성능 손실가 최소화되어, 프레임워크가 모델 이질성에 효과적으로 대응함을 입증했다.