[论文解读] Drone Streaming with Wi-Fi Grid Aggregation for Virtual Tour

Chenglei Wu, Zhi Wang+1 more|arXiv (Cornell University)|May 31, 2016

UAV Applications and Optimization被引用 5

一句话总结

本文提出了一种基于Wi-Fi网格的无人机流媒体系统，用于通过Dji M100无人机和HTC Vive HMD实现沉浸式、实时虚拟导览。通过部署多通道2.4 GHz Wi-Fi网格以聚合带宽，并实现与无人机控制联动的视图自适应，该系统实现了低延迟、高码率的立体视频流媒体传输，支持用户驱动的实时导航。

ABSTRACT

To provide a live, active and high-quality virtual touring streaming experience, we propose an unmanned drone stereoscopic streaming paradigm using a control and streaming infrastructure of a 2.4GHz Wi-Fi grid. Our system allows users to actively control the streaming captured by a drone, receive and watch the streaming using a head mount display (HMD); a Wi-Fi grid is deployed across the remote scene with multi-channel support to enable high-bitrate stream- ing broadcast from the drones. The system adopt a joint view adaptation and drone control scheme to enable fast viewer movement including both head rotation and touring. We implement the prototype on Dji M100 quadcopter and HTC Vive in a demo scene.

研究动机与目标

• 通过用户头部运动实时控制无人机视角，实现直播、主动且高质量的虚拟导览。
• 克服传统无人机流媒体的局限，如传输距离短、带宽低，尤其在遮挡或城市环境中。
• 通过密集网格中接收器之间的多通道Wi-Fi聚合，支持高码率立体视频流媒体传输。
• 通过联合视图自适应与无人机控制方案，最小化从动作到图像的延迟，减少用户不适感，提升沉浸感。

提出的方法

• 部署一个2.4 GHz Wi-Fi网格，接收器密集布置，使用UDP广播方式捕获并转发无人机视频流，以实现低延迟。
• 在无人机和接收器上均使用多个Wi-Fi天线，聚合带宽以提高吞吐量。
• 在每个接收器处实施前向纠错（FEC），以恢复丢失或损坏的数据包，提升可靠性。
• 根据GPS坐标，仅将数据上传至最近的三个接收器，以减少冗余和反馈开销。
• 集成联合控制方案，将用户头部旋转和身体移动通过流媒体服务器映射为相机和无人机运动。
• 使用动态显示窗口，使其在无人机响应前随用户头部移动而提前调整，以补偿传输延迟，提升感知响应速度。

实验结果

研究问题

• RQ1 如何利用Wi-Fi网格基础设施扩展实时虚拟导览中无人机视频流的传输距离并提升带宽？
• RQ2 哪些机制可最小化基于无人机的虚拟现实流媒体中的动作到图像延迟，以防止用户不适？
• RQ3 如何协调联合视图自适应与无人机控制，以实现响应迅速且沉浸感强的用户交互？
• RQ4 多通道Wi-Fi聚合与FEC在干扰和信号丢失环境下对维持高画质视频质量起到何种作用？
• RQ5 使用现成组件（如Raspberry Pi、Dji M100、HTC Vive）构建的低成本、可扩展系统，能否提供可行的高质量虚拟导览体验？

主要发现

• Wi-Fi网格基础设施通过在多个信道和接收器之间聚合带宽，实现了高码率流媒体传输，支持在远距离下稳定视频传输。
• 联合视图自适应与无人机控制方案通过在无人机响应前预先渲染用户头部运动方向的显示窗口，减少了感知延迟，提升了响应速度。
• 该系统成功实现了通过HTC Vive运动追踪实现的实时、头部锁定的无人机相机和位置控制，支持沉浸式导航。
• 在接收器处使用UDP原始数据包广播和FEC显著提升了可靠性，减少了重传延迟，增强了流媒体稳定性。
• 原型系统展示了基于Raspberry Pi的机载和接收设备实现的稳定、低延迟立体视频流媒体传输，端到端控制延迟适合沉浸式VR应用。
• 每500米部署一个接收器可确保连续覆盖和可靠的数据上传，且仅最近的三个接收器负责数据传输，有效降低了开销。