[논문 리뷰] Federated Learning for Internet of Things: Recent Advances, Taxonomy, and Open Challenges

Latif U. Khan, Walid Saad외 3명|arXiv (Cornell University)|2020. 09. 27.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 개인정보 보호 솔루션으로서의 연합 학습(FL)을 제안하여 원시 데이터를 전송하지 않고도 장치 내에서 모델을 훈련할 수 있도록 한다. 이는 IoT 네트워크에서의 FL에 대한 분류 체계를 도입하고, 데이터/시스템 이질성 및 통신 오버헤드와 같은 주요 과제를 분석하며, 강건성, 프라이버시, 확장성과 같은 열린 문제를 규명한다. 이를 위해 효율적이고 안전한 6G 기반 스마트 응용 프로그램을 위한 연합 학습 구현을 위한 솔루션으로 양자화, 희소화, 적응형 자원 할당을 제안한다.

ABSTRACT

The Internet of Things (IoT) will be ripe for the deployment of novel machine learning algorithms for both network and application management. However, given the presence of massively distributed and private datasets, it is challenging to use classical centralized learning algorithms in the IoT. To overcome this challenge, federated learning can be a promising solution that enables on-device machine learning without the need to migrate the private end-user data to a central cloud. In federated learning, only learning model updates are transferred between end-devices and the aggregation server. Although federated learning can offer better privacy preservation than centralized machine learning, it has still privacy concerns. In this paper, first, we present the recent advances of federated learning towards enabling federated learning-powered IoT applications. A set of metrics such as sparsification, robustness, quantization, scalability, security, and privacy, is delineated in order to rigorously evaluate the recent advances. Second, we devise a taxonomy for federated learning over IoT networks. Third, we propose two IoT use cases of dispersed federated learning that can offer better privacy preservation than federated learning. Finally, we present several open research challenges with their possible solutions.

연구 동기 및 목표

• 중앙 집중식 기계 학습이 데이터 전송 및 프라이버시 위험으로 인해 실현 가능하지 않은 대규모 IoT 네트워크에서의 프라이버시 및 데이터 이질성 문제를 해결한다.
• 주요 시스템 및 응용 매개변수를 기반으로 IoT 네트워크에서의 연합 학습에 대한 종합적인 분류 체계를 수립한다.
• 통신 오버헤드, 모델 수렴, 악성 노드에 대한 강건성과 같은 연합 학습의 열린 과제를 규명하고 분석한다.
• 양자화, 희소화, 적응형 자원 할당과 같은 기술적 솔루션을 제안하여 자원 제약이 있는 IoT 환경에서의 확장성과 효율성을 향상시킨다.
• 향후 6G 기반 인터넷 오브 익스텐드드 인텔리전스(IoE) 응용 프로그램에서 엄격한 프라이버시 요구 사항을 충족시키기 위한 핵심 기반 기술로 분산형 연합 학습과 동형 암호화를 위치 지운다.

제안 방법

• IoT 기기에서 원시 데이터가 아닌 로컬 모델 업데이트만을 중앙 또는 엣지 서버로 전송하여 글로벌 모델을 집계하는 연합 학습 프레임워크를 제안한다.
• 통신 프rotocol, 기기 이질성 등의 시스템 매개변수, 스마트 시티, 헬스케어 등의 응용 분야, 보안 메커니즘을 기반으로 한 분류 체계를 도입한다.
• 통신 오버헤드를 줄이기 위해 희소화 및 양자화 기법을 적용하여 대역폭 사용을 최소화하면서 수렴 품질 저하를 관리한다.
• 기기의 컴퓨팅 능력과 로컬 데이터 크기에 따라 동적으로 계산 및 통신 자원을 할당하는 적응형 자원 할당 전략을 설계하여 수렴 속도를 향상시킨다.
• 전역 및 하위 전역 집계 서버에서의 모델 업데이트를 보호하기 위해 분산형 FL 아키텍처에 동형 암호화를 통합하여 신뢰할 수 없는 환경에서의 프라이버시를 강화한다.
• 기기 연결 및 송신 전력 할당 문제를 혼합정수비선형계획문제로 모델링하고, 에너지 효율성과 훈련 성능의 균형을 위해 부분 최적화로 해결한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 이질적인 기기와 비독립적 동일분포(Non-IID) 데이터 분포를 가진 대규모 IoT 네트워크에서 연합 학습을 효과적으로 확장할 수 있는가?
• RQ2 무선 IoT 네트워크에서 연합 학습을 구현할 때 발생하는 주요 기술적 제약 요소는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 양자화 및 희소화 기법을 통해 통신 비용을 얼마나 줄일 수 있으며, 이로 인해 모델 정확도 저하 또는 수렴 시간 증가가 심각하게 영향을 미치는가?
• RQ4 어떻게 하면 적응형 자원 할당 전략이 이질적인 IoT 환경에서 수렴 속도와 공정성을 향상시킬 수 있는가?
• RQ5 동형 암호화 및 분산형 FL은 향후 6G 기반, 프라이버시가 중요한 IoE 응용 프로그램을 위한 연합 학습의 보안을 어떻게 강화할 수 있는가?

주요 결과

• 연합 학습은 원시 데이터 전송을 제거함으로써 중앙 집중식 학습 대비 개인정보 위험을 크게 줄여주는 장치 내 훈련을 가능하게 한다.
• 희소화 및 양자화 기법은 일부 설정에서 통신 오버헤드를 최대 90%까지 줄일 수 있으나, 수렴 속도 및 모델 정확도에 상당한 트레이드오프를 초래할 수 있다.
• 기기의 컴퓨팅 능력과 로컬 데이터 크기를 기반으로 한 적응형 자원 할당 전략은 이질적인 기기를 포함한 시뮬레이션에서 글로벌 모델의 수렴 시간을 최대 40% 향상시킨다.
• 일반 벡터 양자화 및 초구형 양자화와 같은 양자화 방법은 IoT 환경에서의 연합 학습에서 모델 업데이트 크기를 줄이면서도 수용 가능한 모델 성능을 유지한다.
• 동형 암호화를 적용한 분산형 연합 학습은 엔드 투 엔드 프라이버시 보호를 제공하여 전역 및 하위 전역 악성 집계자로부터 모델을 보호한다.
• 연합 학습과 6G 네트워크의 통합은 자율 주행차나 뇌-컴퓨터 인터페이스와 같은 초저지연 및 고프라이버시 요구 사양을 가진 신규 IoE 응용 프로그램을 지원하기 위해 필수적이다.