[논문 리뷰] Machine Learning for Massive Industrial Internet of Things

Hui Zhou, Changyang She외 3명|arXiv (Cornell University)|2021. 03. 10.

IoT and Edge/Fog Computing참고 문헌 12인용 수 5

한 줄 요약

이 논문은 산업용 사물인터넷(IIoT) 네트워크에서 다양한 QoS 요구사항을 가진 대량의 액세스를 최적화하기 위해 기계학습 솔루션—특히 딥 네ural 네트워크(DNN)와 딥 강화학습(DRL)—을 제안한다. 정적 트래픽에서는 GNN과 CNN이 높은 성공률을 달성하는 반면, 연속적 트래픽에서는 DDPG가 DQN보다 연속적인 ACB 최적화를 가능하게 하여 DQN을 능가함을 보여주며, 이는 확장성 있고 저지연의 IIoT 환경에서 기계학습의 효과성을 입증한다.

ABSTRACT

Industrial Internet of Things (IIoT) revolutionizes the future manufacturing facilities by integrating the Internet of Things technologies into industrial settings. With the deployment of massive IIoT devices, it is difficult for the wireless network to support the ubiquitous connections with diverse quality-of-service (QoS) requirements. Although machine learning is regarded as a powerful data-driven tool to optimize wireless network, how to apply machine learning to deal with the massive IIoT problems with unique characteristics remains unsolved. In this paper, we first summarize the QoS requirements of the typical massive non-critical and critical IIoT use cases. We then identify unique characteristics in the massive IIoT scenario, and the corresponding machine learning solutions with its limitations and potential research directions. We further present the existing machine learning solutions for individual layer and cross-layer problems in massive IIoT. Last but not the least, we present a case study of massive access problem based on deep neural network and deep reinforcement learning techniques, respectively, to validate the effectiveness of machine learning in massive IIoT scenario.

연구 동기 및 목표

• 5G 및 그 이상의 네트워크에서 엄청나게 많은 이질적인 IIoT 디바이스를 엄격한 QoS 요구사항을 충족시키며 지원하는 데 도전하는 문제를 해결하기 위해.
• 초고밀도 디바이스 밀도와 다양한 신뢰성/지연 요구사항을 포함한 대규모 IIoT의 고유한 특성들이 기존 최적화 기법과 표준 기계학습 응용의 한계를 초래하는 이유를 규명하기 위해.
• IIoT의 개별 및 계층 간 네트워크 설계에 걸쳐 기계학습 솔루션을 조사하고 체계화하며, 한계점과 열린 연구 방향을 부각하기 위해.
• 실세계 트래픽 모델을 기반으로 DNN과 DRL을 사용한 사례 연구를 통해 기계학습이 대량 액세스 문제에서 효과적인지 검증하기 위해.

제안 방법

• CSI 행렬을 사용하여 액세스를 비지도 학습 문제로 모델링하며, 디바이스는 노드로, 채널 상태 정보는 간선으로 구성된다.
• 10층의 GNN, CNN, RNN, FNN 아키텍처를 사용하고 드롭아웃을 적용하여 과도한 스무스닝을 억제하며, 정적 트래픽에서 80개의 디바이스로 학습한다.
• 연속적 트래픽에서 ACB 최적화를 마르코프 결정 과정으로 모델링하기 위해 DQN과 DDPG를 적용하며, 500개의 디바이스와 최대 10회의 재전송을 고려한다.
• 시간 슬롯당 성공적인 전송 수를 기반으로 보상 형상화를 수행하여 DRL 에이전트가 실시간으로 ACB 요소를 동적으로 조정하도록 훈련한다.
• 이론적 네트워크 모델을 사용해 시뮬레이션에서 DNN을 사전 훈련하고, 실제 환경에서의 적용을 위해 미세조정하여 시뮬레이션과 실세계 간 격차를 줄인다.
• 동일한 트래픽 및 네트워크 조건 하에서 DNN 및 DRL 모델 간의 수렴 속도와 평균 성공 전송 수를 비교한다.

실험 결과

연구 질문

• RQ1 초고밀도 디바이스 배치와 다양한 QoS 요구사항을 가진 IIoT 환경에서 기계학습이 대량 액세스 문제를 효과적으로 해결할 수 있는 방법은 무엇인가?
• RQ2 표준 기계학습 모델이 대규모 IIoT에 적용될 때 수렴성과 제약 조건 충족 측면에서 나타나는 주요 한계는 무엇인가?
• RQ3 정적 대량 액세스 최적화에서 다양한 DNN 아키텍처(GNN, CNN, RNN, FNN)의 성능 및 수렴 속도는 어떻게 비교되는가?
• RQ4 연속적 트래픽 환경에서 DDPG가 이산 동작 DQN보다 연속적 제어를 통해 ACB 최적화에서 더 우수한 성능을 내는가?
• RQ5 사전 훈련된 DNN과 DRL 에이전트가 시뮬레이션과 실제 IIoT 구현 간 격차를 메우기 위해 얼마나 잘 미세조정될 수 있는가?

주요 결과

• 모든 DNN 모델—GNN, CNN, RNN, FNN—은 정적 트래픽 시나리오에서 유사한 수렴 성능를 보였으며, GNN과 CNN가 가장 빠르게 수렴했다.
• FNN과 RNN 모델은 GNN과 CNN보다 훨씬 많은 파라미터(~10^5)를 요구했지만, 더 느린 수렴 속도를 보여, 고차원 IIoT 문제에서의 비효율성을 입증했다.
• 연속적 트래픽에서 DDPG는 연속적인 행동 공간 덕분에 더 정밀한 ACB 요소 조정이 가능해, 평균 성공 전송 수에서 DQN을 능가했다.
• DDPG는 무한한 행동 선택을 지원하기에 DQN보다 성능이 뛰어나며, DQN은 20개의 이산 ACB 값으로 제한되어 있었다.
• 결과는 DRL 기반 접근법이 특히 연속 제어가 필요한 경우 대량 액세스 최적화에 효과적으로 기여할 수 있음을 입증한다.
• 연구는 GNN과 CNN가 RNN과 FNN보다 더 효율적임을 확인하며, 더 나은 파라미터 효율성과 더 빠른 수렴 속도 덕분이다.