[論文レビュー] Exploring Extended Reality with ILLIXR: A New Playground for Architecture Research

Muhammad Huzaifa, Rishi Desai+12 more|arXiv (Cornell University)|Mar 26, 2020

Virtual Reality Applications and Impacts参考文献 87被引用数 16

ひとこと要約

本論文では、最先端のコンponentsをモジュラーでマルチスレッドなランタイムに統合した、OpenXR準拠で品質体験（QoE）メトリクスをサポートする、最初のオープンソースでエンドツーエンドの拡張現実（XR）システムであるILLIXRを紹介する。これにより、さまざまなXRワークロードにおけるパフォーマンス、消費電力、知覚的トレードオフを露わにすることで、スタック全体のQoE駆動型のシステム研究が可能になる。

ABSTRACT

As we enter the era of domain-specific architectures, systems researchers must understand the requirements of emerging application domains. Augmented and virtual reality (AR/VR) or extended reality (XR) is one such important domain. This paper presents ILLIXR, the first open source end-to-end XR system (1) with state-of-the-art components, (2) integrated with a modular and extensible multithreaded runtime, (3) providing an OpenXR compliant interface to XR applications (e.g., game engines), and (4) with the ability to report (and trade off) several quality of experience (QoE) metrics. We analyze performance, power, and QoE metrics for the complete ILLIXR system and for its individual components. Our analysis reveals several properties with implications for architecture and systems research. These include demanding performance, power, and QoE requirements, a large diversity of critical tasks, inter-dependent execution pipelines with challenges in scheduling and resource management, and a large tradeoff space between performance/power and human perception related QoE metrics. ILLIXR and our analysis have the potential to propel new directions in architecture and systems research in general, and impact XR in particular. ILLIXR is open-source and available at https://illixr.github.io

研究の動機と目的

• システムおよびアーキテクチャ研究のための統合的でオープンソースのエンドツーエンドXRベンチマークの不足に対処する。
• 品質体験（QoE）に焦点を当て、パフォーマンスと消費電力のトレードオフを含めたXRシステムのエンドツーエンド評価を可能にする。
• 多様なXRコンポonentをサポートし、将来のシステム共同設計を可能にする、モジュラーで拡張可能なランタイムを提供する。
• XRワークロードにおける複雑で相互に依存するパイプラインを同定し、将来のドメイン特化システム設計の根拠を提供する。
• ハードウェア、ソフトウェア、アルゴリズムの各分野におけるアクセラレータとシステムレベル最適化の共同設計の基盤を構築する。

提案手法

• XRアプリケーション用にOpenXR準拠のインターフェースを備えた、モジュラーでマルチスレッドなランタイムシステムとしてILLIXRを設計および実装する。
• グラフィックスレンダリング、コンピュータビジョン（例：SLAM）、オーディオ処理、光学シミュレーションを含む多様なXRコンポonentを統合する。
• リアルタイムでのパフォーマンス、消費電力、およびモーション・トゥ・フォトン遅延や視覚ジャイタといったQoEメトリクスを報告できるようにシステムをインストルメント化する。
• デスクトップおよびエンドエフェクトプラットフォームでエンドツーエンドのプロファイリングを実施し、XRパイプライン全体のボトルネックとばらつきを分析する。
• リアルタイムXRワークロードにおける計算効率、消費電力、知覚的品質の間のトレードオフを評価する。
• デバイス・エッジ・クラウドの分割、セキュリティ、センサーレベル計算を含む、拡張可能なインターフェースを通じて将来的な研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 実世界のワークロードにおいて、XRスタック全体のパフォーマンス、消費電力、品質体験（QoE）メトリクスはどのように変動するか？
• RQ2 XRシステムにおける主なボトルネックは何か。また、それらは異なるハードウェアプラットフォームやワークロードによってどのように変化するか？
• RQ3 システムレベルの最適化およびハードウェア特化は、XRアプリケーションにおけるエンドツーエンドのQoEをどの程度向上させ得るか？
• RQ4 センサ入力、レンダリング、フィードバックといった相互に依存するパイプラインが、スケジューリングおよびリソース管理に与える影響は何か？
• RQ5 XRシステムにおいて、計算効率、消費電力、知覚的品質の間には、どのような実現可能なトレードオフが存在するか？

主な発見

• ILLIXRは、XRワークロードが、多様で相互に依存するコンポonentにわたり、要求が高く変動しやすいパフォーマンスと消費電力要件を課していることを明らかにした。
• システムの計算負荷に顕著なばらつきが見られ、従来のスケジューリングおよびリソース管理戦略に挑戦するものであった。
• ボトルネックはI/O、メモリ帯域幅、コンピューティングにわたり、単一の主要なボトルネックは存在しなかった。
• パフォーマンス／消費電力と、モーション・トゥ・フォトン遅延といった人間の知覚に基づくQoEメトリクスとの間には、広大なトレードオフ空間が存在する。
• 知覚に配慮したメトリクスの統合により、エンドツーエンドのシステム影響を定量化でき、QoE駆動型共同設計にとって不可欠な要素となった。
• ILLIXRのスタック全体の性質により、個々のコンポonentの最適化を超えて、XR向けアクセラレータおよびシステムコンポーネントの共同設計における新たな研究分野が可能になった。