[论文解读] Internet of Things Applications: Animal Monitoring with Unmanned Aerial Vehicle

Jun Xu, Gürkan Solmaz+3 more|arXiv (Cornell University)|Oct 17, 2016

UAV Applications and Optimization参考文献 28被引用 23

一句话总结

本文提出了一种用于在大型野生动物区域中无设备附着情况下监测濒危动物的UAV-WSN系统。通过使用基于Q-learning的马尔可夫决策过程，UAV能够动态规划路径，访问高概率动物活动区域，以最大化信息价值（VoI）并减少消息延迟——在使用斑马和豹纹龟数据集的仿真中，其性能优于贪心法、随机法和TSP-based方法。

ABSTRACT

In animal monitoring applications, both animal detection and their movement prediction are major tasks. While a variety of animal monitoring strategies exist, most of them rely on mounting devices. However, in real world, it is difficult to find these animals and install mounting devices. In this paper, we propose an animal monitoring application by utilizing wireless sensor networks (WSNs) and unmanned aerial vehicle (UAV). The objective of the application is to detect locations of endangered species in large-scale wildlife areas and monitor movement of animals without any attached devices. In this application, sensors deployed throughout the observation area are responsible for gathering animal information. The UAV flies above the observation area and collects the information from sensors. To achieve the information efficiently, we propose a path planning approach for the UAV based on a Markov decision process (MDP) model. The UAV receives a certain amount of reward from an area if some animals are detected at that location. We solve the MDP using Q-learning such that the UAV prefers going to those areas that animals are detected before. Meanwhile, the UAV explores other areas as well to cover the entire network and detects changes in the animal positions. We first define the mathematical model underlying the animal monitoring problem in terms of the value of information (VoI) and rewards. We propose a network model including clusters of sensor nodes and a single UAV that acts as a mobile sink and visits the clusters. Then, one MDP-based path planning approach is designed to maximize the VoI while reducing message delays. The effectiveness of the proposed approach is evaluated using two real-world movement datasets of zebras and leopard. Simulation results show that our approach outperforms greedy, random heuristics and the path planning based on the traveling salesman problem.

研究动机与目标

• 解决在大型偏远野生动物区域中监测濒危动物的挑战，其中附着追踪设备不切实际。
• 克服传统无线传感器网络（WSNs）在时间敏感的动物数据采集中面临的能量与通信限制。
• 设计一种UAV路径规划策略，根据学习到的活动模式自适应地优先考虑高动物活动区域。
• 通过优先采集及时数据，同时确保覆盖整个网络，以最大化信息价值（VoI）。
• 实现动态、自我学习的UAV导航，平衡对动物活动热点区域的探索与利用。

提出的方法

• 将动物监测问题建模为马尔可夫决策过程（MDP），其中观测区域的每个网格代表一个状态。
• 基于信息价值（VoI）定义奖励，该值在检测到动物后随时间递减，以鼓励尽早报告数据。
• 采用Q-learning训练UAV，学习访问动物检测概率较高的网格的最优策略。
• 部署基于簇的WSN架构，每个网格内设有传感器节点，簇头将数据报告给作为移动汇聚节点的UAV。
• 使用真实动物移动轨迹（斑马和豹纹龟数据集）进行仿真与路径规划策略验证。
• 优化路径规划，以在最小化消息延迟的同时最大化VoI，并确保覆盖所有网络区域。

实验结果

研究问题

• RQ1 如何在不依赖附着设备的情况下，使UAV高效地定位并监测大型偏远野生动物区域中的动物活动？
• RQ2 何种路径规划策略能够在动物监测应用中最大化信息价值（VoI）并最小化数据采集延迟？
• RQ3 所提出的基于MDP的UAV路径规划方法与贪心法、随机法及TSP-based启发式方法相比，在VoI和延迟方面表现如何？
• RQ4 UAV能否通过自监督Q-learning动态学习并适应动物活动模式的变化？
• RQ5 该系统在多大程度上能维持网络全覆盖，并检测到整个网络中动物位置的变化？

主要发现

• 所提出的基于MDP的路径规划方法在收集的总信息价值（VoI）方面优于贪心法、随机法和TSP-based启发式方法。
• 与基线方法相比，UAV直接观测到的动物数量更多，表明检测效率得到提升。
• 由于优先处理高影响区域，消息延迟显著降低，与VoI模型的时间敏感奖励结构一致。
• 系统有效识别并聚焦于动物活动的动态‘热点’区域，展示了通过Q-learning实现的自适应学习能力。
• 使用斑马和豹纹龟数据集的仿真结果证实了该方法在真实动物移动模式下的鲁棒性与可扩展性。
• 该方法在平衡探索与利用的同时维持了全网覆盖，确保未遗漏任何关键区域。