[논문 리뷰] The Internet of Federated Things (IoFT): A Vision for the Future and In-depth Survey of Data-driven Approaches for Federated Learning

Raed Al Kontar, Naichen Shi외 13명|arXiv (Cornell University)|2021. 11. 09.

Privacy-Preserving Technologies in Data참고 문헌 292인용 수 7

한 줄 요약

이 논문은 개인정보 보호를 유지하면서 로컬에서 기계학습 모델을 공동으로 훈련할 수 있는 분산형 패러다임인 연합된 사물 인터넷(Internet of Federated Things, IoFT)을 소개한다. 연합 학습(Federated Learning, FL)을 활용함으로써 에지 기기 간에 글로벌, 개인화된, 메타학습 모델을 구현할 수 있으며, 통계 및 최적화 기법을 사용하여 헬스케어, 제조, 에너지 및 신뢰성 응용 분야에서 개인정보 보호 분석에 기여한다.

ABSTRACT

The Internet of Things (IoT) is on the verge of a major paradigm shift. In the IoT system of the future, IoFT, the cloud will be substituted by the crowd where model training is brought to the edge, allowing IoT devices to collaboratively extract knowledge and build smart analytics/models while keeping their personal data stored locally. This paradigm shift was set into motion by the tremendous increase in computational power on IoT devices and the recent advances in decentralized and privacy-preserving model training, coined as federated learning (FL). This article provides a vision for IoFT and a systematic overview of current efforts towards realizing this vision. Specifically, we first introduce the defining characteristics of IoFT and discuss FL data-driven approaches, opportunities, and challenges that allow decentralized inference within three dimensions: (i) a global model that maximizes utility across all IoT devices, (ii) a personalized model that borrows strengths across all devices yet retains its own model, (iii) a meta-learning model that quickly adapts to new devices or learning tasks. We end by describing the vision and challenges of IoFT in reshaping different industries through the lens of domain experts. Those industries include manufacturing, transportation, energy, healthcare, quality & reliability, business, and computing.

연구 동기 및 목표

• 클라우드 중심의 학습 방식을 에지 기반 협업으로 대체함으로써 대규모 IoT 시스템에서의 개인정보 유출 및 데이터 중앙집중화 문제를 해결한다.
• 원시 데이터를 공유하지 않고도 IoT 기기 간에 공동 모델 훈련을 가능하게 하여 사용자 및 지적 재산권 개인정보를 보호한다.
• 이질적인 에지 기반 IoT 환경에 맞춘 글로벌, 개인화된, 메타학습 세 가지 학습 패러다임을 개발하고 평가한다.
• 의료, 제조, 에너지 및 신뢰성 공학 분야와 같은 실제 응용 분야에서 IoFT의 실현 가능성과 이점을 입증한다.
• 통계 모델링, 최적화, 공정성 메커니즘을 포함한 데이터 기반 연합 학습 접근법에 대한 종합적 서베이를 제공한다.

제안 방법

• 중앙 서버가 에지 기기들로부터 온라인 모델 업데이트를 수거하면서도 원시 데이터는 지역적으로 유지하는 글로벌 FL 프레임워크를 제안한다.
• 기기별 특성을 유지하면서도 글로벌 인구 집단의 지식을 빌려오는 개인화된 FL 모델을 구현한다.
• 소수의 샘플만으로도 새로운 기기나 작업에 신속하게 적응할 수 있도록 하는 메타학습 접근법을 도입한다.
• 공액 사전과 베이지안 업데이트와 같은 통계 방법을 적용하여 신뢰성 데이터 공유 시 개인정보 보호를 유지한다(예: Weibull 및 Birnbaum-Saunders 분포).
• FedAvg 및 적응형 샘플링과 같은 최적화 기법을 사용하여 이질적인 클라이언트 간의 수렴성과 공정성을 향상시킨다.
• 분산형 제조 및 신뢰성 테스트를 위한 사이버-물리 운영 체제를 설계하여, 연합 업데이트를 통한 안전하고 개인정보 보호 기반의 모델 수합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연합 학습은 민감한 데이터를 중앙집중화하지 않고도 IoT 시스템에서 개인정보 보호 기반 모델 훈련을 어떻게 가능하게 하는가?
• RQ2 클라이언트들이 통계적 및 시스템적 이질성을 보일 경우 글로벌 모델 수렴을 효과적으로 달성하는 데 있어 주요 과제는 무엇인가?
• RQ3 개인화된 및 메타학습 모델은 에지 기반 IoT 구현에서 성능 향상과 적응 가능성에 어떻게 기여하는가?
• RQ4 연합 학습은 산업용 및 소비자 제품의 신뢰성 추정 및 고장 예측에 어떻게 기여할 수 있는가?
• RQ5 의료, 제조, 에너지 분야와 같은 산업 전반에 걸쳐 IoFT를 구현하는 데 있어 실질적 영향과 기술적 요구사항은 무엇인가?

주요 결과

• 연합 학습은 원시 데이터를 공유하지 않으면서도 이질적인 IoT 기기 간에 정확한 글로벌 모델 훈련을 가능하게 하여 개인정보 보호와 확장성 측면에서 크게 향상된다.
• 개인화된 FL 모델은 비독립 동일분포(Non-IID) 조건 하에서도 지역 데이터 분포에 맞게 글로벌 지식을 적응시킴으로써 개별 기기에서 더 높은 성능을 달성한다.
• 메타학습 접근법은 최소한의 데이터로도 새로운 기기나 작업에 신속하게 적응할 수 있도록 하여 다시 시작부터 재훈련이 필요 없도록 한다.
• 신뢰성 공학 분야에서는 공액 사전을 사용한 연합 베이지안 업데이트가 Weibull 및 기타 수명 분포의 안전하고 개인정보 보호 기반 추정을 가능하게 한다.
• IoFT 프레임워크는 패닉 기간 동안 3D 프린팅 PPE 및 전기 자동차의 배터리 열화 예측과 같은 실제 응용 분야에서 실현 가능성과 실용성을 입증한다.
• 통계 모델링(예: 역 가우시안, Birnbaum-Saunders)을 연합 학습과 통합함으로써 구성 요소 수준의 개인정보 보호를 유지하면서도 신뢰성 예측 정확도를 향상시킨다.