[논문 리뷰] Exploring Extended Reality with ILLIXR: A New Playground for Architecture Research

Muhammad Huzaifa, Rishi Desai외 12명|arXiv (Cornell University)|2020. 03. 26.

Virtual Reality Applications and Impacts참고 문헌 87인용 수 16

한 줄 요약

이 논문은 OpenXR 호환성과 품질 경험(QoE) 메트릭을 지원하는 모듈러하고 다중 스레드 기반 런타임을 갖춘, 최첨단 구성 요소를 통합한 첫 번째 오픈소스 엔드투엔드 확장현실(XR) 시스템인 ILLIXR를 소개한다. 이는 다양한 XR 워크로드에서 성능, 전력 소비, 인지적 트레이드오프를 노출함으로써 풀스택 QoE 기반의 시스템 연구를 가능하게 한다.

ABSTRACT

As we enter the era of domain-specific architectures, systems researchers must understand the requirements of emerging application domains. Augmented and virtual reality (AR/VR) or extended reality (XR) is one such important domain. This paper presents ILLIXR, the first open source end-to-end XR system (1) with state-of-the-art components, (2) integrated with a modular and extensible multithreaded runtime, (3) providing an OpenXR compliant interface to XR applications (e.g., game engines), and (4) with the ability to report (and trade off) several quality of experience (QoE) metrics. We analyze performance, power, and QoE metrics for the complete ILLIXR system and for its individual components. Our analysis reveals several properties with implications for architecture and systems research. These include demanding performance, power, and QoE requirements, a large diversity of critical tasks, inter-dependent execution pipelines with challenges in scheduling and resource management, and a large tradeoff space between performance/power and human perception related QoE metrics. ILLIXR and our analysis have the potential to propel new directions in architecture and systems research in general, and impact XR in particular. ILLIXR is open-source and available at https://illixr.github.io

연구 동기 및 목표

• 시스템 및 아키텍처 연구를 위한 통합된 오픈소스 풀스택 XR 벤치마크의 부족을 보완한다.
• 품질 경험(QoE), 성능, 전력 소비 트레이드오프에 중점을 두고 XR 시스템의 엔드투엔드 평가를 가능하게 한다.
• 다양한 XR 구성 요소와 향후 시스템 공동 설계를 지원하는 모듈러하고 확장 가능한 런타임을 제공한다.
• XR 워크로드의 복잡하고 상호의존적인 파이프라인을 규명하여 향후 도메인 특화 시스템 설계에 기여한다.
• 하드웨어, 소프트웨어, 알고리즘 전반에 걸쳐 가속기와 시스템 수준 최적화의 공동 설계를 위한 기반을 마련한다.

제안 방법

• XR 애플리케이션을 위한 OpenXR 호환 인터페이스를 갖춘 모듈러하고 다중 스레드 기반 런타임 시스템으로서 ILLIXR를 설계하고 구현한다.
• 그래픽스 렌더링, 컴퓨터 비전(SLAM 등), 오디오 처리, 광학 시뮬레이션 등 다양한 XR 구성 요소를 통합한다.
• 실시간 성능, 전력 소비, 움직임-포톤 지연 및 시각적 점프와 같은 QoE 메트릭을 보고하기 위해 시스템을 인스트루멘터링한다.
• 데스크톱 및 임베디드 플랫폼에서 엔드투엔드 프로파일링을 수행하여 XR 파이프라인 전반의 버티브 및 변동성을 분석한다.
• 실시간 XR 워크로드에서 계산 효율성, 전력 소비, 인지적 품질 간의 트레이드오프를 평가한다.
• 기기-에지-클라우드 분할, 보안, 센서 기반 컴퓨팅을 위한 확장 가능한 인터페이스를 통해 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 실제 워크로드에서 XR 스택 전반에 걸쳐 성능, 전력 소비, 품질 경험(QoE) 메트릭은 어떻게 변화하는가?
• RQ2 XR 시스템에서 지배적인 버티브는 무엇이며, 이는 다양한 하드웨어 플랫폼과 워크로드 간에 어떻게 변화하는가?
• RQ3 시스템 수준 최적화와 하드웨어 특화는 XR 애플리케이션의 종단 간 QoE 향상에 어느 정도 기여하는가?
• RQ4 센서 입력, 렌더링, 피드백과 같은 상호의존적인 파이프라인은 스케줄링과 자원 관리에 어떤 영향을 미치는가?
• RQ5 XR 시스템에서 계산 효율성, 전력 소비, 인지적 품질 간의 타당한 트레이드오프는 무엇인가?

주요 결과

• ILLIXR는 XR 워크로드가 다양한 상호의존 구성 요소 전반에 걸쳐 요구하는 엄격하고 변동성이 큰 성능 및 전력 요구 사항을 드러낸다.
• 시스템은 계산 부하에 있어 뚜렷한 변동성을 보이며, 기존의 스케줄링 및 자원 관리 전략에 도전한다.
• 버티브는 I/O, 메모리 대역폭, 계산 등 스택 전반에 분포되어 있으며, 단일 주요 버티브가 존재하지 않는다.
• 성능/전력과 인간의 인지 기반 QoE 메트릭(예: 움직임-포톤 지연) 간에 큰 트레이드오프 공간이 존재한다.
• 인지 인식 메트릭의 통합은 종단 간 시스템 영향을 정량화할 수 있게 하여 QoE 기반 공동 설계에 필수적이다.
• ILLIXR의 풀스택 특성은 단일 구성 요소 최적화를 넘어서 XR을 위한 가속기와 시스템 구성 요소의 공동 설계에 새로운 연구 방향을 열어준다.