[논문 리뷰] Drone Streaming with Wi-Fi Grid Aggregation for Virtual Tour

Chenglei Wu, Zhi Wang외 1명|arXiv (Cornell University)|2016. 05. 31.

UAV Applications and Optimization인용 수 5

한 줄 요약

이 논문은 DJI M100 드론과 HTC Vive HMD를 사용하여 몰입감 있고 실시간 가상 투어를 구현하기 위해 월리스 기반 드론 스트리밍 시스템을 제안한다. 다중 채널 2.4 GHz 월리스를 구축하여 대역폭을 집계하고 드론 제어와 함께 시야 적응을 통합함으로써, 낮은 지연, 높은 비트레이트의 스테레오 스트리밍을 실현하며 사용자 중심의 네비게이션을 지원한다.

ABSTRACT

To provide a live, active and high-quality virtual touring streaming experience, we propose an unmanned drone stereoscopic streaming paradigm using a control and streaming infrastructure of a 2.4GHz Wi-Fi grid. Our system allows users to actively control the streaming captured by a drone, receive and watch the streaming using a head mount display (HMD); a Wi-Fi grid is deployed across the remote scene with multi-channel support to enable high-bitrate stream- ing broadcast from the drones. The system adopt a joint view adaptation and drone control scheme to enable fast viewer movement including both head rotation and touring. We implement the prototype on Dji M100 quadcopter and HTC Vive in a demo scene.

연구 동기 및 목표

• 사용자의 머리 움직임을 통해 실시간으로 드론의 시야를 제어할 수 있도록 하여 생생하고 활동적인 고화질 가상 투어를 가능하게 한다.
• 기존 드론 스트리밍의 한계, 특히 장애물이 많거나 도심 환경에서의 짧은 전송 거리와 낮은 대역폭 문제를 해결한다.
• 밀도 높은 수신기 그물망을 통해 다중 채널 월리스 집계를 활용하여 고비트레이트 스테레오 영상 스트리밍을 지원한다.
• 공동 시야 적응 및 드론 제어 기법을 통해 운동에서 광자까지의 지연을 최소화하여 사용자 불편을 줄이고 몰입감을 향상시킨다.

제안 방법

• 저지연을 위해 UDP 브로드캐스트를 사용하여 드론 영상 스트림을 캡처하고 전달하는 밀도 높은 수신기로 구성된 2.4 GHz 월리스 기반 인프라를 구축한다.
• 드론과 수신기 양측에 다중 월리스 안테나를 사용하여 대역폭을 집계하고 전송률을 향상시킨다.
• 각 수신기에서 손실되거나 손상된 패킷을 복구하기 위해 전방 오류 정정(FEC)을 구현하여 신뢰성을 향상시킨다.
• GPS 좌표 기반으로 가장 가까운 세 수신기로만 데이터 업로드를 제한하여 부정확성과 피드백 오버헤드를 줄인다.
• 사용자 머리 회전과 신체 운동을 스트리밍 서버를 통해 카메라 및 드론 운동으로 매핑하는 공동 제어 기법을 통합한다.
• 사용자 머리 움직임 방향으로 사전 렌더링된 디스플레이 창을 이동시켜 전송 지연을 보완하고 인식된 반응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실시간 가상 투어에서 월리스 기반 인프라는 어떻게 드론 영상 스트리밍의 전송 거리와 대역폭을 연장할 수 있는가?
• RQ2 드론 기반 가상현실 스트리밍에서 운동에서 광자까지의 지연을 최소화하기 위한 메커니즘은 무엇인가?
• RQ3 공동 시야 적응 및 드론 제어는 어떻게 조율되어 반응성 있고 몰입감 있는 사용자 상호작용을 가능하게 하는가?
• RQ4 다중 채널 월리스 집계와 FEC는 간섭과 신호 손실 상황에서도 고화질 영상 품질을 유지하는 데 어떤 역할을 하는가?
• RQ5 Raspberry Pi, DJI M100, HTC Vive 등의 표준 부품을 사용한 저비용이고 확장 가능한 시스템은 실현 가능한 고화질 가상 투어 경험을 제공할 수 있는가?

주요 결과

• 월리스 기반 인프라는 여러 채널과 수신기 간의 대역폭 집계를 통해 고비트레이트 스트리밍을 가능하게 하여 장거리에서도 안정적인 영상 전송을 지원했다.
• 공동 시야 적응 및 드론 제어 기법은 사용자 머리 움직임 방향으로 사전에 디스플레이 창을 렌더링함으로써 인식된 지연을 줄였고 반응성을 향상시켰다.
• 시스템은 HTC Vive의 동작 추적 기능을 활용하여 드론 카메라 및 위치에 대한 실시간 헤드-락 제어를 성공적으로 지원하여 몰입감 있는 네비게이션을 가능하게 했다.
• 수신기에서 UDP 원시 패킷 브로드캐스트와 FEC를 사용함으로써 신뢰성이 향상되고 재전송 지연이 감소하여 스트리밍 안정성이 향상되었다.
• Raspberry Pi 기반의 탑재 장치와 수신 장치를 사용한 프로토타입은 안정적이고 낮은 지연의 스테레오 영상 스트리밍을 구현했으며, 몰입형 VR 사용에 적합한 엔드 투 엔드 제어 지연을 확보했다.
• 수신기를 500미터 간격으로 설치함으로써 지속적인 커버리지와 신뢰할 수 있는 데이터 업로드를 확보했으며, 오직 가장 가까운 세 수신기만 데이터를 전송하여 오버헤드를 최소화했다.