[論文レビュー] Poster: Enabling Flexible Edge-assisted XR

Jin Heo, Ketan Bhardwaj+1 more|arXiv (Cornell University)|Sep 8, 2023

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文では、ストリーム処理を用いて、異種のエッジリソース間で動的計算オフロードを可能にする、柔軟で高性能なエッジ支援型XRシステムを提案する。ゼロコピーコミュニケーションと最適化されたリモートデータ転送を備えたモジュラーでオフロード可能なコンピューティングカーネルを設計することで、システムはサブミリ秒レベルのローカル遅延を達成し、リアルタイムXRワークロードにおけるエンドツーエンド遅延を顕著に低減する。

ABSTRACT

Extended reality (XR) is touted as the next frontier of the digital future. XR includes all immersive technologies of augmented reality (AR), virtual reality (VR), and mixed reality (MR). XR applications obtain the real-world context of the user from an underlying system, and provide rich, immersive, and interactive virtual experiences based on the user's context in real-time. XR systems process streams of data from device sensors, and provide functionalities including perceptions and graphics required by the applications. These processing steps are computationally intensive, and the challenge is that they must be performed within the strict latency requirements of XR. This poses limitations on the possible XR experiences that can be supported on mobile devices with limited computing resources. In this XR context, edge computing is an effective approach to address this problem for mobile users. The edge is located closer to the end users and enables processing and storing data near them. In addition, the development of high bandwidth and low latency network technologies such as 5G facilitates the application of edge computing for latency-critical use cases [4, 11]. This work presents an XR system for enabling flexible edge-assisted XR.

研究の動機と目的

• リソースが限られたモバイルデバイス上で、低遅延かつ計算負荷の高いXRワークロードをサポートする課題に対処すること。
• デバイスおよびネットワーク状態に関する静的仮定に基づいて事前にオフロードを設定する従来のシステムの制限を克服すること。
• XR処理関数をエッジおよびクライアントデバイス間で完全に構成可能かつ分散可能にする仕組みを提供することで、動的かつアプリケーション固有のオフロードを可能にすること。
• ゼロコピーや効率的な圧縮技術による通信オーバーヘッドの最小化を通じて、リアルタイムXRにおけるシステムパフォーマンスを最適化すること。
• ハードウェアアクセラレータを含む異種のエッジリソースをサポートし、リソースの最大活用とユーザ体験の向上を図ること。

提案手法

• XR機能をランタイム時にローカル／リモート実行が可能なモジュラーでオフロード可能なコンピューティングカーネルとして実装する分散ストリーム処理システム（DSPS）を設計する。
• ローカルまたはリモート実行に動的に設定可能なデータ通信ポートを備えたパイプライン並列モデルを採用する。
• RaftLibストリーム処理ライブラリのカスタム拡張を用いて、ゼロコピーコミュニケーションを実装し、ローカルデータ転送遅延を最小限に抑える。
• エッジ・クライアント境界を越えるリモート通信コストを低減するため、効率的な圧縮および低オーバーヘッド通信プロトコルを統合する。
• RPCベースの関数オフロードに依存しないようにし、細粒度のカーネルおよびポート設定によりエッジハードウェアアクセラレータを完全に活用する。
• 緩い同期と最小限の補助カーネル要件を活用することで、GStreamerのようなフレームワークと比較して、分散XRパイプラインのデプロイを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、厳密なリアルタイム遅延要件を満たしながら、XRワークロードをエッジサーバーに動的にオフロードできるか？
• RQ2 どのようなシステムアーキテクチャが、異種のクライアントおよびエッジリソース間で、アプリケーション固有のXR処理関数を柔軟に分散可能にするか？
• RQ3 分散XRパイプラインにおいて、通信オーバーヘッド（ローカルおよびリモート）をどのように最小限に抑えることができるか？
• RQ4 ストリーム処理モデルは、ROS や GStreamer もしくは Python ベースのパイプラインと比較して、XRワークロードにおけるエンドツーエンド遅延の観点でどの程度優れているか？
• RQ5 モジュラーでカーネルベースのシステム設計は、追加の同期や通信カーネルを必要とせずに、効率的なオフロードを可能にするか？

主な発見

• 提案されたシステムは、全テスト解像度（720p から 2160p）において、ローカル通信遅延が 0.1 ms に達し、GStreamer と同等の性能を示し、ROS や Python ベースのソリューションを上回る。
• RaftLibベースのシステムを用いたローカルデータ送信は、高解像度フレームにおいて、ROS Pub/Sub（3.4–12.5 ms）の 10–100 倍速く、Python ベースのチャネル（9.3–52.1 ms）の 10–100 倍速い。
• GStreamer がマルチストリーム処理、同期、リモート通信のための追加コンponents を必要とするのに対し、本システムは分散XRパイプラインに補助カーネルを必要としない。
• ゼロコピーコミュニケーションにより、ローカルデータ転送遅延が 0.1 ms にまで低下し、リアルタイムXRアプリケーションに不可欠な高スループット・低遅延処理を実現する。
• システムの設計により、カーネル配置（ローカルまたはリモート）をランタイムで柔軟に再構成可能であり、現在のネットワークおよびデバイス状態に応じた最適なリソース活用が可能になる。
• データコピーや通信プロトコルの効率化により、システムはエンドツーエンド遅延を最小限に抑え、遅延に敏感なユースケースに適した分散XRパイプラインを実現する。