[논문 리뷰] Deep Reinforcement Learning Assisted Federated Learning Algorithm for Data Management of IIoT

Peiying Zhang, Chao Wang외 2명|arXiv (Cornell University)|2022. 02. 03.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 산업용 인터넷 사물(IIoT) 디바이스에서 생성되는 시계열 데이터를 효율적이고 비밀스럽게 관리하기 위해 딥 강화학습(DRL) 기반의 연합학습(FL) 프레임워크를 제안한다. DDPG 기반 DRL을 사용해 고품질의 IIoT 노드를 선택하여 모델 집합을 수행함으로써, 통신 비용을 절감하고 학습 효율성을 향상시킨다. IID 조건 하에서 MNIST 및 Fashion-MNIST에서는 97% 이상의 정확도를 달성하였고, CIFAR-10에서는 85%의 정확도를 기록하였다.

ABSTRACT

The continuous expanded scale of the industrial Internet of Things (IIoT) leads to IIoT equipments generating massive amounts of user data every moment. According to the different requirement of end users, these data usually have high heterogeneity and privacy, while most of users are reluctant to expose them to the public view. How to manage these time series data in an efficient and safe way in the field of IIoT is still an open issue, such that it has attracted extensive attention from academia and industry. As a new machine learning (ML) paradigm, federated learning (FL) has great advantages in training heterogeneous and private data. This paper studies the FL technology applications to manage IIoT equipment data in wireless network environments. In order to increase the model aggregation rate and reduce communication costs, we apply deep reinforcement learning (DRL) to IIoT equipment selection process, specifically to select those IIoT equipment nodes with accurate models. Therefore, we propose a FL algorithm assisted by DRL, which can take into account the privacy and efficiency of data training of IIoT equipment. By analyzing the data characteristics of IIoT equipments, we use MNIST, fashion MNIST and CIFAR-10 data sets to represent the data generated by IIoT. During the experiment, we employ the deep neural network (DNN) model to train the data, and experimental results show that the accuracy can reach more than 97\%, which corroborates the effectiveness of the proposed algorithm.

연구 동기 및 목표

• 무선 네트워크에서 대량의 이질적이고 프라이버시 민감도가 높은 데이터를 생성하는 IIoT 디바이스의 데이터 관리 과제를 해결한다.
• 지능적으로 고품질의 클라이언트 노드를 선택하여 IIoT를 위한 연합학습에서 통신 오버헤드와 모델 학습 편차를 줄인다.
• 딥 강화학습을 활용해 동적 클라이언트 선택을 통해 모델 집합의 효율성과 수렴 속도를 향상시킨다.
• 원시 데이터를 중앙 서버에 직접 전송하지 않음으로써 데이터 프라이버시를 보장하고 사용자 기밀성을 유지한다.
• 실제 IIoT 유사 데이터셋인 MNIST, Fashion-MNIST, CIFAR-10에서 제안된 DRL-FL 프레임워크의 효과성을 입증한다.

제안 방법

• 각 IIoT 디바이스에 DDPG 기반의 딥 강화학습 에이전트를 도입하여 고품질의 로컬 모델을 자율적으로 선택하여 집합에 참여시킨다.
• 선택된 IIoT 디바이스의 모델 업데이트를 로컬 데이터 품질 기반 가중 평균을 사용해 중앙 서버에서 집합한다.
• 로컬 모델을 미니배치 크기 B와 로컬 에포크 수 E를 사용한 확률적 경사 하강법(SGD)으로 학습시켜 글로벌 모델을 반복적으로 업데이트한다.
• DRL 에이전트의 상태 공간을 로컬 모델 성능 지표(예: 손실, 정확도) 기반으로 정의하고, 액션 공간을 집합 대상 클라이언트 노드 선택으로 설정한다.
• 고정확도와 낮은 통신 비용을 유도하는 보상 함수를 DRL에 활용하여 효율적이고 정확한 글로벌 모델 수렴을 촉진한다.
• 각 IIoT 디바이스가 자체 DRL 에이전트를 로컬에서 학습하는 분산 DRL 학습 기반 구현을 통해 확장성 향상과 중앙 집중적 조율 감소를 달성한다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 활용해 프라이버시를 보장하는 방식으로 IIoT 디바이스의 연합 모델 집합에 대한 선택을 어떻게 향상시킬 수 있는가?
• RQ2 DRL 기반 FL 프레임워크는 이질적인 IIoT 데이터 환경에서 고정확도를 유지하면서 통신 비용을 얼마나 줄일 수 있는가?
• RQ3 IIoT 디바이스 간의 비IID 및 IID 데이터 분포 조건에서 제안된 프레임워크는 어떻게 성능을 발휘하는가?
• RQ4 로컬 학습 에포크 수(E)와 배치 크기(B)의 변화가 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ5 기본 기반 FL 방법과 비교했을 때 DRL 기반 클라이언트 선택 전략은 모델 편차를 효과적으로 줄이고 글로벌 모델 성능을 향상시키는가?

주요 결과

• 제안된 DRL 기반 FL 프레임워크는 IID 조건 하에서 MNIST 및 Fashion-MNIST 데이터셋에서 모두 98% 이상의 학습 정확도를 달성하였다.
• CIFAR-10 데이터셋에서는 85%의 테스트 정확도를 기록하여 더 복잡한 이미지 데이터에서 뛰어난 성능을 입증하였다.
• MNIST에서 목표 정확도 98%를 달성하기 위해 E=1이고 B=50일 경우, 제안된 방법은 단 65회의 통신 라운드만을 요구하였고, 이는 FedSGD의 625회의 라운드보다 현저히 적었다.
• 비IID 환경에서는 E=1이고 B=50일 경우 통신 라운드 수가 598회로 줄었고, 이는 FedSGD의 484회의 라운드보다 높은 내성적 안정성을 보였다.
• E=20이고 B=10일 경우, MNIST에서 98% 정확도에 도달하는 데 17회의 통신 라운드만을 소요하여, 로컬 에포크 수를 늘리고 배치 크기를 줄임으로써 수렴 성능 향상을 확인하였다.
• 일부 구성 조건에서 DRL 기반 클라이언트 선택 전략은 FedSGD 대비 통신 라운드 수를 최대 73%까지 감소시켜 효율성 향상의 효과를 입증하였다.