[论文解读] HMD Vision-based Teleoperating UGV and UAV for Hostile Environment using Deep Learning

Abhishek Sawarkar, Vishal Sharad Chaudhari+4 more|arXiv (Cornell University)|Sep 14, 2016

UAV Applications and Optimization参考文献 12被引用 6

一句话总结

本文提出了一种半自主的遥操作无人系统，采用无人地面车辆（UGV）和无人飞行器（UAV），配备深度学习技术，实现在敌对环境中的实时威胁检测。该系统通过头戴式显示器（HMD）流媒体传输增强视频——包含AI预测的恐怖分子分类及置信度分数——提供第一人称、沉浸式的视野，显著降低了侦察与作战任务中的人类风险。

ABSTRACT

The necessity of maintaining a robust antiterrorist task force has become imperative in recent times with resurgence of rogue element in the society. A well equipped combat force warrants the safety and security of citizens and the integrity of the sovereign state. In this paper we propose a novel teleoperating robot which can play a major role in combat, rescue and reconnaissance missions by substantially reducing loss of human soldiers in such hostile environments. The proposed robotic solution consists of an unmanned ground vehicle equipped with an IP camera visual system broadcasting real-time video data to a remote cloud server. With the advancement in machine learning algorithms in the field of computer vision, we incorporate state of the art deep convolutional neural networks to identify and predict individuals with malevolent intent. The classification is performed on every frame of the video stream by the trained network in the cloud server. The predicted output of the network is overlaid on the video stream with specific colour marks and prediction percentage. Finally the data is resized into half-side by side format and streamed to the head mount display worn by the human controller which facilitates first person view of the scenario. The ground vehicle is also coupled with an unmanned aerial vehicle for aerial surveillance. The proposed scheme is an assistive system and the final decision evidently lies with the human handler.

研究动机与目标

• 通过部署半自主的UGV和UAV执行侦察与威胁评估，减少敌对环境中的人员伤亡。
• 通过将人类决策与AI辅助感知相结合，解决完全自主系统存在的局限性。
• 通过实时、AI增强的视频流传输与头戴式显示器（HMD）提升态势感知能力。
• 开发一种鲁棒、低延迟的遥操作框架，结合深度学习、无线视频传输与头部追踪控制。
• 实现双车辆操作（UGV与UAV），在复杂或遮挡环境中实现多角度监视。

提出的方法

• UGV上的IP摄像头通过无线链路将实时视频流传输至远程云服务器。
• 预先训练的深度卷积神经网络（CNN）处理每一帧视频，根据是否出现枪械，将人员分类为平民或疑似恐怖分子。
• 将分类结果叠加在视频流上，使用彩色边界框（绿色表示平民，红色表示嫌疑人）及置信度百分比。
• 将增强后的视频重新格式化为半侧并排格式（每只眼950×1000），用于立体VR显示。
• HMD系统使用IMU传感器（加速度计与磁力计）追踪操作员的头部运动，通过XBee将信号传输至控制UGV的云台俯仰-平转机构。
• 通过加密无线电链路将UGV处理后的视频流传输至HMD，实现具有动态摄像控制的沉浸式第一人称视觉。

实验结果

研究问题

• RQ1 基于深度学习的CNN能否在UGV实时视频流中准确分类出潜在威胁（持枪人员）？
• RQ2 将AI辅助威胁检测与HMD遥操作相结合，如何提升态势感知能力与作战安全性？
• RQ3 在复杂或遮挡的敌对环境中，双车辆操作（UGV与UAV）在多角度环境感知方面的增强程度如何？
• RQ4 通过IMU实现的头部追踪控制是否相比传统控制方式能提升遥操作UGV的可用性与响应速度？
• RQ5 半侧并排视频格式技术在为远程操作员提供沉浸式、低延迟VR体验方面的有效性如何？

主要发现

• 深度CNN成功将人员分类为平民或疑似恐怖分子，并通过彩色边界框（绿色或红色）与视觉置信度分数在视频流中标记。
• 系统实现了实时推理与视频处理，支持低延迟将AI增强视频传输至HMD，实现操作员的即时反馈。
• 基于HMD的界面提供了沉浸式第一人称视角，显著提升了操作员的空间感知能力与操作控制能力。
• 通过IMU实现的头部追踪使UGV摄像头的云台俯仰-平转控制实现动态、直观操作，提升了响应速度并减轻认知负荷。
• 双车辆方法（UGV与UAV）实现了多角度监视，使操作员可在UGV视野受阻时在地面与空中视角间自由切换。
• 该系统在高置信度下成功识别出持枪个体为威胁，但目前尚无法区分武装军人与敌对人员。