[논문 리뷰] Anypath Routing Protocol Design via Q-Learning for Underwater Sensor Networks

Yuan Zhou, Tao Cao외 1명|arXiv (Cornell University)|2020. 02. 22.

Underwater Vehicles and Communication Systems참고 문헌 59인용 수 5

한 줄 요약

이 논문은 잔류 에너지와 깊이 정보를 종합적으로 고려하여 에너지 소모를 균형 잡고 종단 간 지연을 줄이는 Q-학습 기반의 국소화 불필요(anythop) 라우팅 프로토콜인 QLFR를 제안한다. 에너지와 깊이에 대한 보상 함수, 우선순위 기반의 보관 시간 메커니즘, 다중경로 억제 기법을 통해 QLFR는 QELAR의 네트워크 수명기반 약 85%의 성능를 달성하면서도 지연이 훨씬 낮게 유지되며, 기존 프로토콜들보다 에너지 효율성과 지연 면에서 뛰어난 성능을 보인다.

ABSTRACT

As a promising technology in the Internet of Underwater Things, underwater sensor networks have drawn a widespread attention from both academia and industry. However, designing a routing protocol for underwater sensor networks is a great challenge due to high energy consumption and large latency in the underwater environment. This paper proposes a Q-learning-based localization-free anypath routing (QLFR) protocol to prolong the lifetime as well as reduce the end-to-end delay for underwater sensor networks. Aiming at optimal routing policies, the Q-value is calculated by jointly considering the residual energy and depth information of sensor nodes throughout the routing process. More specifically, we define two reward functions (i.e., depth-related and energy-related rewards) for Q-learning with the objective of reducing latency and extending network lifetime. In addition, a new holding time mechanism for packet forwarding is designed according to the priority of forwarding candidate nodes. Furthermore, a mathematical analysis is presented to analyze the performance of the proposed routing protocol. Extensive simulation results demonstrate the superiority performance of the proposed routing protocol in terms of the end-to-end delay and the network lifetime.

연구 동기 및 목표

• 동적인 네트워크 구조와 제한된 에너지원으로 인한 높은 종단 간 지연과 에너지 불균형 문제를 해결하기 위해.
• 수중 환경에서는 현실적으로 구현이 어려운 전면적 국소화에 의존하지 않는 라우팅 프로토콜을 설계하기 위해.
• 고도의 트래픽를 유발하는 '핫스팟' 노드의 조기 고장 방지를 위해 노드 간 에너지 소모를 균형 잡기 위해.
• 장기적 보상 최적화를 통해 네트워크 수명을 유지하거나 연장하면서 종단 간 지연을 줄이기 위해.
• Q-값 우선순위 기반 후보 노드를 기반으로 패킷 전달 순서를 스케줄링하는 새로운 보관 시간 메커니즘을 개발하기 위해.

제안 방법

• 프로토콜은 잔류 에너지와 깊이 정보를 조합한 복합 보상 함수를 기반으로 Q-학습을 사용해 Q-값을 계산한다.
• 두 가지 별도의 보상 함수를 정의한다: 하나는 에너지 효율성 향상(잔류 에너지가 높은 노드를 선호)을 위한 것이고, 다른 하나는 지연 감소(얕은 깊이의 노드를 선호)를 위한 것이다.
• Q-값 순위에 따라 우선순위 기반의 보관 시간 메커니즘이 패킷 전달을 스케줄링하여 중복 전송을 감소시킨다.
• 다중경로 억제 기법을 통해 전달 후보 수를 제한하여 에너지 낭비를 줄이고 효율성을 향상시킨다.
• 프로토콜은 전면적 국소화 없이 작동한다—깊이 정보(압력 센서로부터)만 필요하다.
• 각 전달 후보에 대한 보관 시간은 $ t_h = k \cdot \frac{1}{h} $로 계산되며, 여기서 $ h $는 홉 수이고 $ k $는 설정 가능한 파라미터이다.

실험 결과

연구 질문

• RQ1 Q-학습이 수중 센서 네트워크에서 anypath 라우팅에 효과적으로 적용될 수 있는가? 이는 에너지 효율성과 지연 성능 향상에 기여하는가?
• RQ2 전면적 노드 국소화 없이도 최적의 성능를 달성하기 위해 라우팅 결정은 어떻게 내려질 수 있는가?
• RQ3 Q-값 우선순위 기반의 보관 시간 메커니즘이 중복 전송을 줄이고 에너지 효율성을 향상시키는 데 어떤 영향을 미치는가?
• RQ4 보관 시간($ k $)과 노드 이동 속도($ v $) 등의 파라미터가 프로토콜의 종단 간 지연과 에너지 소모에 어떤 영향을 미치는가?
• RQ5 기존 라우팅 프로토콜들과 비교했을 때, 제안된 프로토콜이 에너지 부하를 얼마나 잘 균형 잡고 네트워크 수명을 연장할 수 있는가?

주요 결과

• QLFR는 QELAR 및 기타 기준 프로토콜보다 종단 간 지연 감소에 더 효과적으로 작용하며, 지연 감소 성능 면에서 QELAR에 근접한 성능를 기록한다.
• 일반 조건 하에서 QLFR의 네트워크 수명은 QELAR의 85% 이상을 달성하며, 가장 악조건의 상황에서도 최소 80.5% 이상 유지된다.
• 보관 시간 $ k $ 가 증가할수록 패킷 보관 시간이 길어져 종단 간 지연이 증가하지만, 전달 기회가 더 많아져 전달 비율이 향상된다.
• 낮은 $ k $ 값(예: 0.01 s)은 중복 전송 억제가 감소하여 에너지 소모가 증가하는 원인이 된다.
• 노드 이동 속도가 증가함(최대 5 m/s)에 따라 희박한 네트워크에서 빈 공간(void holes)을 신속히 복구시켜 전달 비율을 향상시키지만, 지연이나 총 에너지 소모에 미치는 영향은 미미하다.
• 이동 속도와 보관 시간 파라미터의 변화에 관계없이 프로토콜은 안정적인 성능를 유지하며, 동적인 수중 환경에서의 강건성을 입증한다.