[论文解读] Exploring Extended Reality with ILLIXR: A New Playground for Architecture Research

Muhammad Huzaifa, Rishi Desai+12 more|arXiv (Cornell University)|Mar 26, 2020

Virtual Reality Applications and Impacts参考文献 87被引用 16

一句话总结

本文介绍了 ILLIXR，这是首个开源的端到端扩展现实（XR）系统，首次将最先进的组件整合到一个模块化、多线程的运行时环境中，具备 OpenXR 兼容性，并支持用户体验质量（QoE）度量指标。该系统通过暴露跨多样化 XR 工作负载的性能、功耗和感知权衡，实现了全栈的、以 QoE 为导向的系统研究。

ABSTRACT

As we enter the era of domain-specific architectures, systems researchers must understand the requirements of emerging application domains. Augmented and virtual reality (AR/VR) or extended reality (XR) is one such important domain. This paper presents ILLIXR, the first open source end-to-end XR system (1) with state-of-the-art components, (2) integrated with a modular and extensible multithreaded runtime, (3) providing an OpenXR compliant interface to XR applications (e.g., game engines), and (4) with the ability to report (and trade off) several quality of experience (QoE) metrics. We analyze performance, power, and QoE metrics for the complete ILLIXR system and for its individual components. Our analysis reveals several properties with implications for architecture and systems research. These include demanding performance, power, and QoE requirements, a large diversity of critical tasks, inter-dependent execution pipelines with challenges in scheduling and resource management, and a large tradeoff space between performance/power and human perception related QoE metrics. ILLIXR and our analysis have the potential to propel new directions in architecture and systems research in general, and impact XR in particular. ILLIXR is open-source and available at https://illixr.github.io

研究动机与目标

• 解决系统与架构研究中缺乏集成化、开源的全栈 XR 基准测试的问题。
• 通过聚焦用户体验质量（QoE）、性能和功耗权衡，实现对 XR 系统的端到端评估。
• 提供一个模块化、可扩展的运行时环境，支持多样化的 XR 组件及未来系统协同设计。
• 表征 XR 工作负载中复杂且相互依赖的处理流水线，为未来领域专用系统设计提供依据。
• 为硬件、软件与算法协同设计加速器和系统级优化奠定基础。

提出的方法

• 设计并实现 ILLIXR 作为具有 OpenXR 兼容接口的模块化、多线程运行时系统，用于 XR 应用程序。
• 集成多样化的 XR 组件，包括图形渲染、计算机视觉（如 SLAM）、音频处理和光学仿真。
• 对系统进行增强，以实时报告性能、功耗以及 QoE 指标（如运动到光子延迟和视觉抖动）。
• 在桌面和嵌入式平台两端进行端到端性能分析，以识别 XR 流水线中的瓶颈和波动性。
• 利用该系统评估实时 XR 工作负载中计算效率、功耗与感知质量之间的权衡。
• 通过支持设备-边缘-云划分、安全性和传感器内计算的可扩展接口，为未来研究提供支持。

实验结果

研究问题

• RQ1 在真实工作负载中，XR 堆栈的性能、功耗和用户体验质量（QoE）指标如何变化？
• RQ2 XR 系统中的主要瓶颈是什么？它们在不同硬件平台和工作负载下如何变化？
• RQ3 系统级优化与硬件专用化在多大程度上能提升 XR 应用的端到端 QoE？
• RQ4 XR 中相互依赖的流水线（如传感器输入、渲染和反馈）如何影响调度与资源管理？
• RQ5 在 XR 系统中，计算效率、功耗与感知质量之间存在哪些可行的权衡？

主要发现

• ILLIXR 揭示了 XR 工作负载在多样化且相互依赖的组件上施加了高要求且可变的性能与功耗需求。
• 系统在计算负载方面表现出显著的波动性，对传统调度与资源管理策略构成挑战。
• 瓶颈分布在堆栈的各个层面，包括 I/O、内存带宽和计算，且无单一主导瓶颈。
• 在性能/功耗与基于人类感知的 QoE 指标（如运动到光子延迟）之间存在巨大的权衡空间。
• 感知感知指标的集成使端到端系统影响的量化成为可能，这对以 QoE 为导向的协同设计至关重要。
• ILLIXR 的全栈特性为 XR 加速器与系统组件的协同设计开辟了新的研究方向，推动研究超越孤立组件的优化。