[論文レビュー] Drone Streaming with Wi-Fi Grid Aggregation for Virtual Tour

Chenglei Wu, Zhi Wang+1 more|arXiv (Cornell University)|May 31, 2016

UAV Applications and Optimization被引用数 5

ひとこと要約

本論文では、Dji M100ドローンとHTC Vive HMDを用いて、没入的でリアルタイムなバーチャルツアーを実現するWi-Fiグリッドベースのドローンストリーミングシステムを提案する。複数のチャネルを用いた2.4 GHz Wi-Fiグリッドを導入し、帯域幅を集約するとともに、ドローン制御と連携したビュー適応を可能にすることで、低遅延かつ高ビットレートのステレオストリーミングを実現し、ユーザーの操作に応じた即応性の高いナビゲーションを実現した。

ABSTRACT

To provide a live, active and high-quality virtual touring streaming experience, we propose an unmanned drone stereoscopic streaming paradigm using a control and streaming infrastructure of a 2.4GHz Wi-Fi grid. Our system allows users to actively control the streaming captured by a drone, receive and watch the streaming using a head mount display (HMD); a Wi-Fi grid is deployed across the remote scene with multi-channel support to enable high-bitrate stream- ing broadcast from the drones. The system adopt a joint view adaptation and drone control scheme to enable fast viewer movement including both head rotation and touring. We implement the prototype on Dji M100 quadcopter and HTC Vive in a demo scene.

研究の動機と目的

• ユーザーが頭部の動きでドローンの視点をリアルタイムに制御できる、ライブで能動的かつ高品質なバーチャルツアーの実現。
• 特に障害物や都市部環境において顕著な短い送信距離や低帯域幅といった、従来のドローンストリーミングの制限を克服すること。
• 密度の高い受信機グリッドに跨るマルチチャネルWi-Fi集約を用いて、高ビットレートのステレオ動画ストリーミングを支援すること。
• ドローン制御と連携したビュー適応スキームにより、モーション・トゥ・フォトン遅延を最小限に抑えることで、ユーザーの不快感を軽減し、没入感を向上させること。

提案手法

• 低遅延を実現するため、UDPブロードキャストを用いてドローンの動画ストリームを受信・転送するように、密に配置された受信機を備えた2.4 GHz Wi-Fiグリッドを展開する。
• ドローンおよび受信機の両方に複数のWi-Fiアンテナを設置し、帯域幅を集約してスループットを向上させる。
• 各受信機でフォワードエラー制御（FEC）を実装し、損失または破損したパケットの回復を図り、信頼性を向上させる。
• GPS座標に基づき、データアップロードを最も近い3台の受信機に制限することで、冗長性とフィードバックオーバーヘッドを低減する。
• ユーザーの頭部回転と身体の動きをストリーミングサーバー経由でカメラおよびドローンの動きにマッピングする、共同制御スキームを統合する。
• ユーザーの頭部の動きに応じて表示ウィンドウを事前に移動させる動的表示ウィンドウを採用し、伝送遅延を補償することで、体感的な即応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてWi-Fiグリッドインfra構造を活用することで、リアルタイムのバーチャルツアーにおけるドローン動画ストリーミングの範囲と帯域幅を拡張できるか？
• RQ2 ドローンベースのバーチャルリアリティストリーミングにおいて、ユーザーの不快感を防ぐために、モーション・トゥ・フォトン遅延を最小限に抑えるメカニズムは何か？
• RQ3 どのようにしてビュー適応とドローン制御を連携させ、即応性があり没入感のあるユーザーインタラクションを実現できるか？
• RQ4 マルチチャネルWi-Fi集約とFECは、干渉や信号損失下でも高品質な動画品質を維持するために果たす役割は何か？
• RQ5 Raspberry Pi、Dji M100、HTC Viveなどの市販部品を用いた低コストでスケーラブルなシステムは、実用的な高品質バーチャルツアー体験を提供できるか？

主な発見

• Wi-Fiグリッドインfraにより、複数のチャネルおよび受信機を介した帯域幅集約が実現され、長距離にわたり安定した動画伝送を可能にした。
• 共同でビュー適応とドローン制御を行うスキームにより、ドローンの動きに先んじてユーザーの頭部の動きに応じた表示ウィンドウの事前レンダリングが行われ、体感的な遅延が低減され、即応性が向上した。
• HTC Viveのモーショントラッキングを活用して、ドローンのカメラおよび位置のリアルタイムでヘッドロック制御が成功し、没入型ナビゲーションを実現した。
• 受信機でのUDPラウンドロビンパケットブロードキャストとFECの導入により、信頼性が向上し、再送遅延が低減され、ストリーミングの安定性が向上した。
• Raspberry Piを搭載した搭載機器および受信機を用いたプロトタイプは、安定した低遅延ステレオ動画ストリーミングを実現し、没入型VR用途に適したエンドツーエンドの制御遅延を達成した。
• 受信機を500メートル間隔で配置することで、継続的なカバレッジと信頼性の高いデータアップロードが確保され、オーバーヘッドを最小限に抑えるために、最も近い3台の受信機のみがデータを送信した。