[논문 리뷰] Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT

Shunpu Tang, Lunyuan Chen외 3명|arXiv (Cornell University)|2021. 10. 28.

IoT and Edge/Fog Computing인용 수 11

한 줄 요약

이 논문은 자원이 제한된 산업용 IoT 장치들이 조기 종료를 통해 부분적인 하위모델을 사용하여 공유 모델을 훈련하고 기여할 수 있도록 허용하는 다중 종료 기반 분산 엣지 학습(ME-FEEL) 프레임워크를 제안한다. 이는 지연 시간을 크게 줄이고 참가도를 향상시킨다. 지식 증류와 탐욕적 대역폭 할당 알고리즘을 통합함으로써 ME-FEEL은 극한의 자원 제약 조건 하에서 기존의 분산 학습보다 최대 32.7% 높은 정확도를 달성한다.

ABSTRACT

In this paper, we investigate how to deploy computational intelligence and deep learning (DL) in edge-enabled industrial IoT networks. In this system, the IoT devices can collaboratively train a shared model without compromising data privacy. However, due to limited resources in the industrial IoT networks, including computational power, bandwidth, and channel state, it is challenging for many devices to accomplish local training and upload weights to the edge server in time. To address this issue, we propose a novel multi-exit-based federated edge learning (ME-FEEL) framework, where the deep model can be divided into several sub-models with different depths and output prediction from the exit in the corresponding sub-model. In this way, the devices with insufficient computational power can choose the earlier exits and avoid training the complete model, which can help reduce computational latency and enable devices to participate into aggregation as much as possible within a latency threshold. Moreover, we propose a greedy approach-based exit selection and bandwidth allocation algorithm to maximize the total number of exits in each communication round. Simulation experiments are conducted on the classical Fashion-MNIST dataset under a non-independent and identically distributed (non-IID) setting, and it shows that the proposed strategy outperforms the conventional FL. In particular, the proposed ME-FEEL can achieve an accuracy gain up to 32.7% in the industrial IoT networks with the severely limited resources.

연구 동기 및 목표

• 계산 능력, 대역폭, 채널 품질이 서로 다른 장치들이 존재하는 엣지 기반 산업용 IoT 네트워크에서의 시스템 이질성 문제를 해결하기 위해.
• 조기 종료를 통해 장치들이 부분적인 하위모델만 훈련함으로써 저지연, 개인정보 보호 기반의 모델 훈련을 가능하게 하기 위해.
• строго한 지연 시간 및 대역폭 제약 조건 하에서 각 통신 라운드당 참여 장치 수를 최대화하기 위해.
• 일般적으로 특징 추출 능력이 떨어지는 조기 종료의 성능을 향상시키기 위해 자기 지식 증류를 사용하기 위해.
• 시스템 전체의 참여도와 수렴 성능를 최적화하는 종합적인 종료 선택 및 대역폭 할당 전략을 개발하기 위해.

제안 방법

• 딥 신경망에 다양한 깊이의 다수의 종료 지점이 삽입되어, 장치들이 가용 자원에 따라 선택된 종료 지점까지의 부분 모델만 훈련하고 업로드할 수 있도록 한다.
• 각 종료 지점은 예측을 생성하며, 모든 종료 지점이 공통된 하위 아키텍처를 공유하도록 모델을 훈련시켜 집계 시의 호환성을 보장한다.
• 더 깊고 정확도가 높은 종료 지점에서 얕은 종료 지점으로 지식을 전달하기 위해 자기 지식 증류 기법을 적용하여 조기 종료의 성능을 향상시킨다.
• 각 장치의 최적 종료 지점 선택과 가용 대역폭 할당을 동시에 고려하여, 각 라운드당 예상 종료 수를 최대화하는 탐욕적 알고리즘을 제안한다.
• 지연 시간 및 대역폭 제약 조건 하에서 비독립 동일 분포(non-iid) 데이터 분포를 사용하여 Fashion-MNIST 데이터셋을 기반으로 시스템을 평가한다.
• 원시 데이터를 교환하지 않고 오직 모델 가중치만 교환함으로써 모델의 개인정보를 유지하는 설계를 하여, 분산 학습 원칙과 일치시킨다.

Figure 1: Federated edge learning system.

실험 결과

연구 질문

• RQ1 제한된 계산 및 통신 자원을 가진 엣지 기반 산업용 IoT 장치들이 어떻게 효과적으로 분산 학습에 참여할 수 있는가?
• RQ2 자원 제약 조건을 고려할 때, 장치가 어떤 종료(하위모델 깊이)를 훈련해야 하는지 최적의 전략은 무엇인가?
• RQ3 일般적으로 정확도가 낮은 조기 종료의 성능을 모델 복잡도 증가 없이 어떻게 향상시킬 수 있는가?
• RQ4 지연 시간 및 대역폭 제약 조건 하에서 각 통신 라운드당 기여하는 장치 수를 최대화하는 종합 자원 할당 전략은 무엇인가?
• RQ5 실제 비독립 동일 분포 조건과 자원 제약 조건 하에서 제안된 ME-FEEL 프레임워크는 기존의 분산 학습과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• ME-FEEL은 자원이 극도로 제한된 산업용 IoT 네트워크에서 기존의 분산 학습 대비 최대 32.7% 높은 정확도를 달성했다.
• 지식 증류 기법의 적용으로 첫 번째 종료 지점의 정확도가 6% 향상되었으며, 모든 종료 지점에서 성능 향상이 이루어졌으며, 종료 2에서 5까지 각각 4.5%, 3.53%, 2.25%, 1.3% 향상되었다.
• 지연 시간 한계가 12초일 경우, ME-FEEL은 기존 FEEL 대비 2.68% 높은 정확도를 기록했으며, FEEL-UB 대비 16.6% 향상된 성능를 보였다.
• 통신 대역폭이 50 MHz에서 35 MHz로 감소했을 때, ME-FEEL는 성능 저하가 미미했으며, FEEL-UB 대비 20.75% 높은 정확도를 유지했다.
• 제안된 탐욕적 종료 선택 및 대역폭 할당 알고리즘이 효과적으로 각 라운드당 참여 장치 수를 증가시켜 모델 수렴성과 강건성을 향상시켰다.
• ME-FEEL는 다양한 지연 시간 및 대역폭 조건 하에서도 FEEL 및 FEEL-UB를 모두 초월하는 뛰어난 강건성을 보였다. 모든 테스트 구성에서 최고의 성능를 기록했다.

Figure 2: An example of multi-exit mechanism.