[논문 리뷰] XRBench: An Extended Reality (XR) Machine Learning Benchmark Suite for the Metaverse

Hyoukjun Kwon, Krishnakumar Nair외 16명|arXiv (Cornell University)|2022. 11. 16.

Advanced Neural Network Applications인용 수 12

한 줄 요약

XRBench는 실시간, 시나리오 기반 조건에서 다중 작업 다중 모델(MTMM) 추론 시스템을 평가하기 위해 설계된 확장현실(XR) 기계학습 워크로드를 위한 오픈소스 벤치마크 세트이다. 이는 시스템 수준의 경험 품질(QoE)을 측정하는 새로운 스코어링 메트릭을 도입하여, 복잡한 XR 워크로드에서 다중 가속기 및 시나리오 인식 설계가 기존의 단일 모델 시스템보다 뛰어난 성능을 보임을 드러낸다.

ABSTRACT

Real-time multi-task multi-model (MTMM) workloads, a new form of deep learning inference workloads, are emerging for applications areas like extended reality (XR) to support metaverse use cases. These workloads combine user interactivity with computationally complex machine learning (ML) activities. Compared to standard ML applications, these ML workloads present unique difficulties and constraints. Real-time MTMM workloads impose heterogeneity and concurrency requirements on future ML systems and devices, necessitating the development of new capabilities. This paper begins with a discussion of the various characteristics of these real-time MTMM ML workloads and presents an ontology for evaluating the performance of future ML hardware for XR systems. Next, we present XRBENCH, a collection of MTMM ML tasks, models, and usage scenarios that execute these models in three representative ways: cascaded, concurrent, and cascaded-concurrent for XR use cases. Finally, we emphasize the need for new metrics that capture the requirements properly. We hope that our work will stimulate research and lead to the development of a new generation of ML systems for XR use cases. XRBench is available as an open-source project: https://github.com/XRBench

연구 동기 및 목표

• 확장현실(XR) 및 메타버스 응용 분야에서 실시간, 다중 작업 다중 모델(MTMM) 기계학습 워크로드에 대한 공개 벤치마크 부족 문제를 해결한다.
• 기존의 단일 작업 단일 모델(STSM) 벤치마크를 뛰어넘어, 시나리오 기반 동작, 복잡한 모델 의존성, 엄격한 QoE 요구사항 등을 포함한 MTMM 워크로드의 고유한 과제를 규명한다.
• 연속적, 동시적, 하이브리드 실행 패턴을 포함한 실제 XR 사용 사례를 반영한 종합적인 벤치마크 세트를 개발한다.
• 다양한 사용 시나리오에서 지연, 처리량, 정확도, 에너지 효율성의 통합을 통해 성능을 평가하는 새로운 시스템 수준 스코어링 메트릭을 도입한다.
• 하드웨어-소프트웨어 공동 설계의 트레이드오프를 평가하기 위한 표준화된 산업 기반 벤치마크를 제공하여 ML 가속기와 런타임 시스템의 공동 설계를 가능하게 한다.

제안 방법

• 실제 메타버스 사용 사례를 기반으로 한 XR ML 워크로드의 온톨로지를 정의하여 시나리오 기반 실행, 모델 의존성, QoE 제약 등 핵심 특성을 식별한다.
• 12개의 대표적 MTMM 워크로드를 포함하는 XRBench를 설계하였으며, 이는 VR 게이밍, AR 어시스턴트, 사회적 상호작용 등 6개의 XR 시나리오에서 각각 연속적, 동시적, 연속-동시적 실행 패턴을 포함한다.
• 고립된 지연 또는 FPS로 평가하지 않고, 모델 정확도, 목표 대비 달성된 처리 속도, 에너지 효율성을 통합하여 QoE를 평가하는 새로운 스코어링 메트릭을 구현한다.
• 다양한 칩 크기(4K 및 8K PEs)와 워크로드 구성에서 12종의 가속기 스타일(FDA, SFDA, HDA 등)을 시뮬레이션 프레임워크를 통해 평가하여 실시간 스코어와 QoE를 다양한 연속 확률 조건에서 측정한다.
• 센서 입력 레이트 제한 및 맥락 기반 동적 모델 활성화/비활성화 등의 실제 제약 조건을 통합하여, 벤치마크가 진정한 시스템 수준의 동작을 반영하도록 한다.
• 다양한 워크로드가 서로 다른 가속기 아키텍처를 선호하며, 고복잡도 MTMM 워크로드에서 다중 가속기 시스템이 더 뛰어난 확장성을 보임을 입증함으로써 벤치마크를 검증한다.

실험 결과

연구 질문

• RQ1 시나리오 기반 동작 및 동적 모델 활성화가 XR ML 시스템의 성능과 자원 활용도에 미치는 영향은 어떠한가?
• RQ2 모델 간의 복잡한 데이터 및 제어 의존성이 MTMM 워크로드에서 시스템 스케줄링 및 하드웨어 설계에 얼마나 제약을 가하는가?
• RQ3 통합된 시스템 수준 스코어링 메트릭이 다양한 동시 실행 기계학습 작업에서의 통합 경험 품질(QoE)을 효과적으로 측정할 수 있는가?
• RQ4 다양한 XR 워크로드에서 모델 수와 실행 패턴이 다른 가속기 아키텍처(예: 단일 대 다중 가속기, 데이터플로우 스타일)의 성능은 어떻게 다를까?
• RQ5 칩 크기와 가속기 스타일이 실시간 MTMM 워크로드에서 최적의 시스템 공동 설계에 미치는 영향은 무엇인가?

주요 결과

• 고성능 가속기(J)는 높은 연속 확률(100%) 조건에서도 우수한 실시간 성능을 유지했지만, 저성능 가속기(B)는 프레임을 버림으로써 QoE를 향상시켰으며, 이는 고부하 상황에서 프레임 드롭이 전략적 최적화일 수 있음을 시사한다.
• 다양한 사용 시나리오는 서로 다른 가속기 아키텍처를 선호한다: 예를 들어, 사회적 상호작용에서는 단일 가속기 FDA 스타일(A) 설계가 다른 설계보다 뛰어났고, 실외 활동 인식에서는 네 개의 가속기를 사용하는 SFDA 스타일(F) 설계가 뛰어났다.
• 칩 크기를 4K에서 8K PEs로 증가시켰을 때, 최적의 가속기 스타일은 SFDA(H)에서 HDA(M)로 변화했으며, 이는 칩 크기가 최적의 가속기 설계에 상당한 영향을 미친다는 것을 보여준다.
• 다중 가속기 시스템(SFDA 및 HDA)은 AR 어시스턴트(6개 모델)와 같이 고복잡도 시나리오에서 단일 가속기 설계를 능가했지만, VR 게이밍(3개 모델)과 같이 저복잡도 시나리오에서는 성능이 열 劣하므로, 스케일아웃 설계는 다수 모델 워크로드에 가장 효과적임을 시사한다.
• XRBench 스코어링 메트릭은 지연, 처리량, QoE 간의 트레이드오프를 효과적으로 반영하였으며, 센서 입력 또는 사용자 인지 제약에 의해 제한되는 경우, 목표 처리 속도를 초월해 추론 지연을 향상시키더라도 시스템 수준 성능 향상이 이루어지지 않음을 드러냈다.
• 벤치마크는 시스템 수준 성능이 고립된 모델 메트릭으로 예측될 수 없다는 점을 드러내었으며, 최적의 XR ML 시스템 성능을 위해 하드웨어, 스케줄러, 런타임의 공동 설계가 필수적임을 입증하였다.