[논문 리뷰] Efficient Ring-topology Decentralized Federated Learning with Deep Generative Models for Industrial Artificial Intelligent

Wang Zhao, Yifan Hu외 2명|arXiv (Cornell University)|2021. 04. 15.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 5

한 줄 요약

이 논문은 산업용 인터넷(IIoT) 환경에서 딥 생성 모델(DGMs)을 위한 고체적이고 비밀 보장된 린 토폴로지 분산 학습(RDFL) 프레임워크를 제안한다. 통신 효율성과 프라이버시를 향상시키기 위해 일관성 있는 해싱을 활용한 린 토폴로지, 맵-리듀스 기반 동기화 방법, IPFS 기반 데이터 공유를 통해 RDFL은 비균일 데이터 분포(non-IID) 및 악성 노드 조건에서도 통신 부담을 감소시키고 강건성을 향상시킨다. 특히 데이터 품질 악화 조건에서 CIFAR-100에서 최대 85.14%의 정확도를 기록하며 FedAvg를 능가한다.

ABSTRACT

By leveraging deep learning based technologies, the data-driven based approaches have reached great success with the rapid increase of data generated of Industrial Indernet of Things(IIot). However, security and privacy concerns are obstacles for data providers in many sensitive data-driven industrial scenarios, such as healthcare and auto-driving. Many Federated Learning(FL) approaches have been proposed with DNNs for IIoT applications, these works still suffer from low usability of data due to data incompleteness, low quality, insufficient quantity, sensitivity, etc. Therefore, we propose a ring-topogy based decentralized federated learning(RDFL) scheme for Deep Generative Models(DGMs), where DGMs is a promising solution for solving the aforementioned data usability issues. Compare with existing IIoT FL works, our RDFL schemes provides communication efficiency and maintain training performance to boost DGMs in target IIoT tasks. A novel ring FL topology as well as a map-reduce based synchronizing method are designed in the proposed RDFL to improve decentralized FL performance and bandwidth utilization. In addition, InterPlanetary File System(IPFS) is introduced to further improve communication efficiency and FL security. Extensive experiments have been taken to demonstate the superiority of RDFL with either independent and identically distributed(IID) datasets or non-independent and identically distributed(Non-IID) datasets.

연구 동기 및 목표

• 산업용 인터넷(IIoT) 응용 분야에서 중심화된 분산 학습(FL)의 통신 병목 현상과 보안 위험을 해결한다.
• 데이터 불완전성, 저품질, 민감성 등의 문제를 해결하기 위해 딥 생성 모델(DGMs)을 활용해 IIoT 환경의 데이터 활용 가능성을 향상시킨다.
• 중앙 서버 의존도를 줄이고 시스템 안정성 및 대역폭 활용도를 향상시키기 위해 분산형 FL 프레임워크를 설계한다.
• 분산형 FL 환경에서 악성 노드로부터의 데이터 품질 악화 공격에 대한 강건성을 향상시킨다.
• IPFS와 새로운 린 기반 동기화 메커니즘을 활용해 통신 효율성과 보안성을 향상시킨다.

제안 방법

• 일관성 있는 해싱을 활용해 린 토폴로지를 구성함으로써 모델 집계를 분산화하고 통신 부담을 감소시킨다.
• 맵-리듀스 기반 동기화 방법을 설계해 분산형 FL 환경에서 대역폭 활용도와 학습 안정성을 향상시킨다.
• 보안성 높고 효율적인 데이터 공유를 위해 인터플라네파이언트 파일 시스템(IPFS)을 통합해 통신 비용을 절감한다.
• 린-올리버리덕스 기반 동기화 프로토콜을 구현해 노드 간 효율적인 파라미터 집계를 가능하게 한다.
• 로컬 생성기와 구분기로 구성된 DGMs(예: GANs)를 구현해 데이터 품질을 향상시키고 비균일 데이터를 처리한다.
• 가변 동기화 간격 $K$를 설정할 수 있는 하이브리드 학습 전략을 도입해 통신 효율성의 트레이드오프를 평가한다.

실험 결과

연구 질문

• RQ1 린 토폴로지 기반 분산 학습 프레임워크는 IIoT 응용 분야에서 통신 효율성을 향상시키고 대역폭 부담을 줄일 수 있는가?
• RQ2 제안된 RDFL 프레임워크는 산업 환경에서 흔히 발생하는 비균일 데이터 분포(non-i.i.d.) 조건에서 어떻게 성능을 발휘하는가?
• RQ3 악성 노드나 데이터 품질 악화 공격에 직면했을 때 RDFL은 모델 성능과 강건성을 어느 정도 유지하는가?
• RQ4 IPFS 기반 데이터 공유 방식은 분산형 FL 환경에서 통신 비용을 추가로 절감하고 보안성을 향상시킬 수 있는가?
• RQ5 다양한 통신 간격 조건에서 RDFL의 동기화 메커니즘은 전통적인 FedAvg 대비 수렴 속도와 정확도 측면에서 어떻게 비교되는가?

주요 결과

• IID 조건에서 신뢰성 있는 노드 대 악성 노드 비율이 5:0인 상황에서 RDFL은 CIFAR-100에서 85.14%의 분류 정확도를 기록했으며, FedAvg의 82.76%를 능가했다.
• LDA 분할 기반 비균일 데이터 분포(non-IID) 조건에서 신뢰성 있는 노드 대 악성 노드 비율이 4:1일 경우 RDFL은 CIFAR-10에서 63.25%의 정확도를 유지했으며, FedAvg의 61.72%보다 높았다.
• RDFL로 훈련된 GAN은 높은 동기화 간격(예: $K=20000$)에서도 고품질의 이미지를 생성했으며, 이는 통신 빈도 감소에 대한 강건성을 보여주었다.
• 지구 이동 거리(EMD) 결과 분석에서 생성된 이미지가 실제 데이터에 더 가까웠으며, 이는 생성 품질 향상을 확인했다.
• Inception Score(IS) 및 EMD 평가 결과, RDFL은 IID 및 non-IID 데이터 환경 모두에서 강력한 생성 성능을 유지함을 확인했다.
• 린 토폴로지와 동기화 메커니즘이 중심화된 또는 단순한 분산형 FL 대비 학습 안정성을 크게 향상시키고 통신 부담을 감소시켰다.