[논문 리뷰] Reinforcement Learning Based Transmission Range Control (RL-TRC) in SD-WSN with Moving Sensors

Anuradha Banerjee, Abu Sufian|arXiv (Cornell University)|2020. 05. 17.

Energy Efficient Wireless Sensor Networks참고 문헌 16인용 수 4

한 줄 요약

이 논문은 이동하는 센서를 갖춘 소프트웨어 정의 무선 센서 네트워크(SD-WSNs)에서 에너지 효율성을 최적화하기 위해 강화학습 기반 전송 범위 제어(RL-TRC) 기법을 제안한다. 네트워크 상태 및 보상 피드백에 기반해 동적으로 전송 전력 수준을 선택하기 위해 이psilon-그리디 알고리즘을 사용함으로써, RL-TRC는 에너지 소비를 줄이고도 높은 네트워크 스루풋을 유지하여 IoT 응용 분야에 적합함을 입증한다.

ABSTRACT

Routing in Software-Defined Wireless sensor networks (SD-WSNs) can be either single or multi-hop whereas the network is either static or dynamic. In static SD-WSN, the selection of the optimum route from source to destination is accomplished by the SDN controller(s). On the other hand, if moving sensors are there then SDN controllers of zones are not able to handle route discovery sessions by themselves; they can only store information about the most recent zone state. Moving sensors find lots of applications in robotics where robots continue to move from one room to another to sensing the environment. A huge amount of energy can be saved in these kinds of networks if transmission range control is applied. The multiple power levels exist in each node, and each of these levels takes possible actions after a potential sender node decides to transmit/forward a message. Based on each such action, the next states of the concerned sender node as well as the communication session are re-determined while the router receives a reward. In order to decide the optimum power level in the next iteration, the Epsilon-greedy algorithm is applied in this study. It is determined anew depending upon the present network scenario. Simulation results show that our proposed work leads the network to equilibrium by reducing energy consumption and maintaining network throughput that are suitable for IoT.

연구 동기 및 목표

• 동적 네트워크 구조를 가진 이동성 있는 소프트웨어 정의 무선 센서 네트워크(SD-WSNs)에서 에너지 비효율성 문제를 해결하기 위해.
• 이동 센서 환경에서 SDN 컨트롤러가 경로 탐색 및 전송 전력 수준을 적응적으로 관리할 수 있도록 하기 위해.
• 동적으로 최적의 전송 전력 수준을 선택하여 이동 센서 네트워크의 에너지 소비를 줄이기 위해.
• 다중 홉 라우팅 환경에서 에너지 사용을 최소화하면서도 높은 네트워크 스루풋을 유지하기 위해.
• IoT 기반 이동 센서 네트워크에 적합한 확장 가능하고 적응적인 전송 범위 제어 메커니즘을 개발하기 위해.

제안 방법

• RL-TRC 프레임워크는 현재 네트워크 상태 및 보상 피드백에 기반해 각 노드의 최적 전송 전력 수준을 결정하기 위해 강화학습을 사용한다.
• 각 전송 동작은 상태 전이를 유도하며, 라우터는 전송 결과에 따라 보상을 수신한다.
• 실시간 네트워크 조건에 적응하기 위해 탐색과 이용의 균형을 이루기 위해 이psilon-그리디 알고리즘이 사용된다.
• 전송 전력 수준은 이산 동작으로 모델링되며, 각 동작는 특정 전송 범위와 에너지 비용에 해당한다.
• 시스템은 관측된 보상에 기반해 정책을 지속적으로 업데이트함으로써 에너지 효율적인 라우팅 전략으로 수렴한다.
• 이 방법은 이동 센서가 필요로 하는 동적 경로 적응 기능을 초과하는 정적 컨트롤러의 능력을 넘어서 다중 홉 라우팅 환경에 적용된다.

실험 결과

연구 질문

• RQ1 이동 센서로 인해 변화하는 이동성 있는 SD-WSNs에서 네트워크 성능 저하 없이 에너지 소비를 줄이기 위해 전송 범위 제어를 어떻게 최적화할 수 있는가?
• RQ2 이동 센서로 인한 동적 네트워크 상태에 대응해 적응적인 전력 수준 선택을 가능하게 하는 강화학습 전략은 무엇인가?
• RQ3 이psilon-그리디 알고리즘이 동적 전송 범위 제어에서 탐색과 이용의 균형을 어떻게 달성하는가?
• RQ4 RL-TRC는 이동 센서 네트워크에서 에너지 사용을 최소화하면서도 네트워크 스루풋을 얼마나 잘 유지할 수 있는가?
• RQ5 제안된 RL-TRC 프레임워크는 IoT 응용 분야에서 에너지 효율성과 신뢰성 측면에서 네트워크 평형을 달성할 수 있는가?

주요 결과

• RL-TRC 프레임워크는 실시간 네트워크 피드백에 기반해 전송 전력 수준을 동적으로 조정함으로써 이동성 있는 SD-WSNs에서 에너지 소비를 성공적으로 줄였다.
• 적응적인 전력 수준 선택을 통해 에너지 효율성과 스루풋의 균형을 이루며 네트워크 평형을 달성했다.
• 이psilon-그리디 알고리즘의 사용은 장기적으로 고보상 동작을 우선시하면서도 전송 전력 옵션의 효과적인 탐색을 가능하게 했다.
• 시뮬레이션 결과는 이동 센서가 존재하는 동적 환경에서도 RL-TRC가 높은 네트워크 스루풋을 유지함을 확인했다.
• 이동성 있는 다중 홉 무선 센서 네트워크에서 에너지 사용을 최적화함으로써 제안된 방법이 IoT 응용 분야에 적합함을 입증했다.
• 프레임워크는 보상 피드백에 기반한 학습된 정책을 활용해 SDN 컨트롤러가 이동 영역에서 경로 탐색을 관리할 수 있도록 했다.