[논문 리뷰] Decentralized Spectrum Learning for IoT Wireless Networks Collision Mitigation

Christophe Moy, Lilian Besson|arXiv (Cornell University)|2019. 06. 03.

IoT Networks and Protocols참고 문헌 10인용 수 1

한 줄 요약

이 논문은 비면허 ISM 대역에서의 무선 충돌을 줄이기 위해 LoRa 장치에서 다중 손잡이 밴딧(Multi-Armed Bandit) 알고리즘을 사용하는 탈중앙화된 강화학습 솔루션인 IoTligent을 제안한다. 장치들이 프로토콜 변경 없이도 자율적으로 교통이 적은 채널로 전환할 수 있도록 함으로써, 실제 LoRaWAN 구현에서 IoT 장치 배터리 수명을 2배로 연장한다.

ABSTRACT

This paper describes the principles and implementation results of reinforcement learning algorithms on IoT devices for radio collision mitigation in ISM unlicensed bands. Learning is here used to improve both the IoT network capability to support a larger number of objects as well as the autonomy of IoT devices. We first illustrate the efficiency of the proposed approach in a proof-of-concept based on USRP software radio platforms operating on real radio signals. It shows how collisions with other RF signals present in the ISM band are diminished for a given IoT device. Then we describe the first implementation of learning algorithms on LoRa devices operating in a real LoRaWAN network, that we named IoTligent. The proposed solution adds neither processing overhead so that it can be ran in the IoT devices, nor network overhead so that no change is required to LoRaWAN. Real life experiments have been done in a realistic LoRa network and they show that IoTligent device battery life can be extended by a factor 2 in the scenarios we faced during our experiment.

연구 동기 및 목표

• 비면허 ISM 대역에서 비협조적인 IoT 장치의 전송으로 인한 증가하는 무선 충돌 문제를 해결하기 위해.
• 네트워크나 처리 오버헤드를 늘리지 않고도 자율적인 스펙트럼 선택을 가능하게 하여 IoT 장치의 배터리 수명을 향상시키기 위해.
• 장치 간 또는 중앙 집중식 제어 없이도 작동하는 탈중앙화된, 장치 내 학습 메커니즘을 개발하고 검증하기 위해.
• 이 접근 방식의 실현 가능성과 성능 향상을 실제 LoRaWAN 구현 환경에서 입증하기 위해.

제안 방법

• LoRa 장치에서 탈중앙화된 채널 선택을 위해 다중 손잡이 밴딧(Multi-Armed Bandit, MAB) 강화학습 알고리즘, 특히 UCB를 사용한다.
• 실시간 스펙트럼 감지를 통해 성공적인 전송/수신(ACK 피드백) 기반으로 채널 품질을 추정한다.
• LoRaWAN 프로토콜을 수정하거나 오버헤드를 추가하지 않고도, 실제 LoRaWAN 네트워크에서 Pycom 하드웨어를 사용하여 장치에서 학습을 구현한다.
• 각 채널당 사용 횟수(Tk)와 성공률(Xk)을 추적하여 실시간으로 탐색과 이용을 안내한다.
• 양방향 통신(업링크 + ACK) 성공 시 보상으로서의 학습 메커니즘을 적용한다.
• 추가 처리나 네트워크 신호 전송 없이도 경량화된 설계를 하여 기존 LoRaWAN 인fra구조와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 저전력 IoT 장치에서 강화학습을 효과적으로 구현하여 비면허 ISM 대역에서의 충돌을 줄일 수 있는가?
• RQ2 실제 LoRaWAN 구현 환경에서 랜덤 채널 액세스에 비해 탈중앙화된 장치 내 학습이 얼마나 많은 배터리 수명 향상을 이룰 수 있는가?
• RQ3 다이나믹한 무선 환경에서 학습 알고리즘이 최적의 채널 선택으로 수렴하는 데 얼마나 빠른가?
• RQ4 이러한 방법이 프로토콜 오버헤드 없이도 네트워크 수준의 협조 없이도 상당한 성능 향상을 달성할 수 있는가?

주요 결과

• 실제 실험에서 IoTligent는 배터리 수명을 2배로 연장하여 반복적인 실패 전송을 방지함으로써 에너지 소비를 감소시켰다.
• 채널 1(868.3 MHz)에서 성공률이 11.5%로 나타났으며, 이는 랜덤 액세스 평균 5.5%보다 높고, 채널 0(868.1 MHz)는 29회 시도 중 전부 실패했다.
• 129번의 전송 중 채널 1은 61번 사용되었고, 채널 0(29번)과 채널 2(39번)보다 훨씬 더 많이 사용되어 효과적인 학습과 이용이 이루어졌음을 보여준다.
• 시스템은 빠른 학습 수렴을 보였으며, 실험의 마지막 48시간 동안 채널 1은 채널 0보다 4배, 채널 2보다 2.5배 더 많이 사용되었다.
• 채널 1에서의 경험적 성공률(11.5%)은 61회의 시험 기반으로 신뢰할 수 있는 추정치이며, 장기적인 성능 향상을 시사한다.
• 일반적인 비학습 장치는 동일한 성공률를 달성하기 위해 두 배의 전송이 필요하여 에너지 소비와 네트워크 혼잡도가 모두 증가한다.