[논문 리뷰] Fusion of Federated Learning and Industrial Internet of Things: A Survey

M Parimala, Swarna Priya R.M.외 5명|arXiv (Cornell University)|2021. 01. 04.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 종합 검토는 산업용 인터넷 of Things (IIoT) 시스템에 연합 학습(FL)을 포괄적으로 통합하여 개인정보 보호 기반의 디바이스 내 기계 학습을 가능하게 한다. 모델을 엣지 디바이스에서 로컬로 훈련하고 암호화된 모델 업데이트만 공유함으로써 FL은 통신 오버헤드와 데이터 泄露를 줄이며, IIoT 환경에서 데이터 프라이버시와 시스템의 강건성을 크게 향상시킨다.

ABSTRACT

Industrial Internet of Things (IIoT) lays a new paradigm for the concept of Industry 4.0 and paves an insight for new industrial era. Nowadays smart machines and smart factories use machine learning/deep learning based models for incurring intelligence. However, storing and communicating the data to the cloud and end device leads to issues in preserving privacy. In order to address this issue, federated learning (FL) technology is implemented in IIoT by the researchers nowadays to provide safe, accurate, robust and unbiased models. Integrating FL in IIoT ensures that no local sensitive data is exchanged, as the distribution of learning models over the edge devices has become more common with FL. Therefore, only the encrypted notifications and parameters are communicated to the central server. In this paper, we provide a thorough overview on integrating FL with IIoT in terms of privacy, resource and data management. The survey starts by articulating IIoT characteristics and fundamentals of distributive and FL. The motivation behind integrating IIoT and FL for achieving data privacy preservation and on-device learning are summarized. Then we discuss the potential of using machine learning, deep learning and blockchain techniques for FL in secure IIoT. Further we analyze and summarize the ways to handle the heterogeneous and huge data. Comprehensive background on data and resource management are then presented, followed by applications of IIoT with FL in healthcare and automobile industry. Finally, we shed light on challenges, some possible solutions and potential directions for future research.

연구 동기 및 목표

• 원시 데이터를 중앙 서버로 전송하지 않고도 디바이스 내에서 모델을 훈련시켜 IIoT 환경에서의 데이터 프라이버시 문제를 해결하기 위해.
• 데이터 이질성, 자원 제약, 보안 위협 등을 포함한 FL과 IIoT의 통합 과제를 분석하기 위해.
• 블록체인, 차등적 프라이버시, 안전한 집계와 같은 고급 기법을 활용해 FL 기반 IIoT 시스템의 신뢰성과 보안성을 향상시키기 위해.
• 의료 및 자동차 산업과 같은 핵심 IIoT 분야에서 FL의 응용을 평가하여 실시간, 프라이버시 인식 기반 의사결정을 가능하게 하기 위해.
• 확장성, 효율성, 보안성을 확보한 산업용 엣지 환경에서의 FL 구현을 위한 개방된 과제를 식별하고 향후 연구 방향을 제안하기 위해.

제안 방법

• IIoT 엣지 디바이스에서 로컬 데이터를 사용해 로컬 모델을 훈련하고, 원시 데이터가 아닌 모델 파라미터만 중앙 서버로 전송하는 FL 프레임워크를 제안한다.
• 모델 업데이트를 유출 공격으로부터 보호하고 사용자 수준의 프라이버시를 유지하기 위해 차등적 프라이버시(DP)와 안전한 집계 기법을 통합한다.
• 모델 집계 및 클라이언트 기여 추적에서 투명성, 불변성, 책임성을 보장하기 위해 블록체인 기반 아키텍처를 활용한다.
• IIoT 구현에서 계산 및 에너지 비용을 줄이기 위해 엣지 디바이스에 최적화된 경량 기계 학습 모델(예: LSTM, DNN)을 사용한다.
• 이종 IIoT 네트워크에서 자원 할당을 동적으로 관리하고 모델 수렴을 향상시키기 위해 딥 강화 학습(DRL)과 다중 에이전트 시스템을 적용한다.
• 클라이언트 측 데이터 풀링 및 모델 조작 공격을 탐지하기 위해 머클 트리 기반의 온체인 검증 메커니즘을 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 연합 학습을 IIoT 시스템에 효과적으로 통합하여 데이터 프라이버시를 유지하면서도 모델 정확도를 확보할 수 있는가?
• RQ2 FL 기반 IIoT 환경에서 이질적 데이터와 제한된 자원을 관리하는 데 있어 핵심 과제는 무엇인가?
• RQ3 데이터 풀링 및 모델 역전환 공격과 같은 보안 위협은 어떻게 완화할 수 있는가?
• RQ4 블록체인과 암호 기법은 연합 IIoT 학습 프레임워크에서 신뢰성과 무결성을 향상시키는 데 어떤 역할을 하는가?
• RQ5 FL의 가장 유망한 응용 분야는 무엇이며, 확장성과 보안성을 확보한 구현을 위해 향후 연구에서 어떤 방향이 필요한가?

주요 결과

• FL은 원시 데이터 대신 모델 업데이트만 전송함으로써 IIoT에서 통신 비용과 에너지 소비를 크게 줄인다.
• FL과 블록체인의 통합은 시스템의 투명성을 향상시키고 클라이언트 기여 및 모델 무결성의 온체인 검증을 가능하게 한다.
• 차등적 프라이버시와 안전한 집계 기법은 모델 집계 과정에서의 추론 공격으로부터 사용자 데이터를 효과적으로 보호한다.
• 대응 학습 손실 함수를 갖춘 제안된 연합 방어 시스템은 IIoT에서 사용되는 딥 네URAL 네트워크의 대응 공격에 대한 강건성을 향상시킨다.
• 의료 및 자동차 산업 분야의 응용 사례는 FL이 고정확도로 실시간, 개인정보 보호 기반 의사결정을 가능하게 한다는 것을 입증한다.
• 기존 아키텍처는 짧은 패킷 통신과 저지연 요구 조건을 처리하는 데 한계를 보이며, 이는 6G 통합형 FL 최적화 IIoT 시스템의 필요성을 강조한다.