[논문 리뷰] Poster: Enabling Flexible Edge-assisted XR

Jin Heo, Ketan Bhardwaj외 1명|arXiv (Cornell University)|2023. 09. 08.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 스트림 처리를 활용하여 이질적인 엣지 자원 간에 동적 계산 오픈로드를 가능하게 하는 유연하고 고성능의 엣지 보조 XR 시스템을 제안한다. 영구 복사 통신과 최적화된 원격 데이터 전송을 갖춘 모듈식이고 오픈로드 가능한 계산 커널을 설계함으로써, 시스템은 로컬 지연 시간이 1ms 이하이며 실시간 XR 워크로드에서 종단 간 지연을 크게 감소시킨다.

ABSTRACT

Extended reality (XR) is touted as the next frontier of the digital future. XR includes all immersive technologies of augmented reality (AR), virtual reality (VR), and mixed reality (MR). XR applications obtain the real-world context of the user from an underlying system, and provide rich, immersive, and interactive virtual experiences based on the user's context in real-time. XR systems process streams of data from device sensors, and provide functionalities including perceptions and graphics required by the applications. These processing steps are computationally intensive, and the challenge is that they must be performed within the strict latency requirements of XR. This poses limitations on the possible XR experiences that can be supported on mobile devices with limited computing resources. In this XR context, edge computing is an effective approach to address this problem for mobile users. The edge is located closer to the end users and enables processing and storing data near them. In addition, the development of high bandwidth and low latency network technologies such as 5G facilitates the application of edge computing for latency-critical use cases [4, 11]. This work presents an XR system for enabling flexible edge-assisted XR.

연구 동기 및 목표

• 제한된 자원을 가진 모바일 디바이스에서 저지연, 계산이 집약적인 XR 워크로드를 지원하는 데 도전 과제를 해결하기 위해.
• 기존 시스템이 장치 및 네트워크 조건에 대한 정적 가정에 기반해 오픈로딩을 사전 설정하는 데서 비롯되는 한계를 극복하기 위해.
• XR 처리 기능을 엣지 및 클라이언트 디바이스 간에 완전히 구성 가능하고 분산 가능한 방식으로 응용 프로그램 특화 오픈로딩을 가능하게 하기 위해.
• 로컬 통신 오버헤드를 최소화하기 위해 영구 복사 및 효율적인 압축 기법을 활용함으로써 실시간 XR에 최적화된 시스템 성능을 확보하기 위해.
• 하드웨어 가속기 포함 이질적인 엣지 자원을 지원하여 자원 활용도를 극대화하고 사용자 경험을 향상시키기 위해.

제안 방법

• XR 기능이 런타임 시 동적으로 로컬 또는 원격으로 배치 가능한 모듈식이고 오픈로드 가능한 계산 커널로 구성된 분산 스트림 처리 시스템(DSPS)을 설계한다.
• 로컬 또는 원격 실행을 동적으로 구성할 수 있는 데이터 통신 포트를 갖춘 파이프라인 병렬 처리 모델을 사용한다.
• RaftLib 스트림 처리 라이브러리의 커스터마이제이션을 활용해 커널 간 영구 복사 통신을 구현함으로써 로컬 데이터 전송 지연을 최소화한다.
• 에지-클라이언트 경계를 넘는 원격 통신 비용을 줄이기 위해 효율적인 압축 및 저오버헤드 통신 프로토콜을 통합한다.
• RPC 기반 기능 오픈로딩에 의존하지 않도록 하여 세분화된 커널 및 포트 구성으로 엣지 하드웨어 가속기를 최대한 활용한다.
• 유연한 동기화 및 최소한의 보조 커널 요구 조건을 활용해 GStreamer 같은 프레임워크에 비해 분산 XR 파이프라인 배포를 단순화한다.

실험 결과

연구 질문

• RQ1 어떻게 엣지 서버로 실시간 지연 요구 조건을 유지하면서 XR 워크로드를 동적으로 오픈로드할 수 있는가?
• RQ2 어떤 시스템 아키텍처가 이질적인 클라이언트 및 엣지 자원 간에 응용 프로그램 특화로 XR 처리 기능을 분산 배포할 수 있는가?
• RQ3 분산 XR 파이프라인에서 로컬 및 원격 통신 오버헤드를 어떻게 최소화할 수 있는가? 이는 저지연 제약 조건을 충족하기 위해 필수적이다.
• RQ4 XR 워크로드의 종단 간 지연 측면에서 기존 프레임워크인 ROS, GStreamer 및 파이썬 기반 파이프라인에 비해 스트림 처리 모델이 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ5 모듈식이고 커널 기반의 시스템 설계는 추가 동기화 또는 통신 커널 없이도 효율적인 오픈로딩을 지원할 수 있는가?

주요 결과

• 제안된 시스템은 테스트된 모든 해상도(720p에서 2160p)에서 로컬 통신 지연 시간이 0.1ms로 측정되어 GStreamer와 동일한 성능을 보이며, ROS 및 파이썬 기반 솔루션보다 뛰어나다.
• RaftLib 기반 시스템을 통한 로컬 데이터 전송은 고해상도 프레임에서 ROS Pub/Sub(3.4–12.5ms) 대비 10–100배 빠르며, 파이썬 기반 채널(9.3–52.1ms) 대비도 빠르다.
• 이 시스템은 GStreamer와 달리 분산 XR 파이프라인에서 보조 커널이 필요 없음을 제거한다. GStreamer는 다중 스트림 처리, 동기화 및 원격 통신을 위해 추가 구성 요소가 필요하다.
• 영구 복사 통신 덕분에 로컬 데이터 전송 지연 시간이 0.1ms로 감소하여 실시간 XR 응용 프로그램에 필수적인 고처리량, 저지연 처리를 가능하게 한다.
• 시스템 설계는 런타임 중 커널 배치(로컬 또는 원격)를 영리하게 재구성할 수 있도록 하여 현재 네트워크 및 장치 조건에 최적화된 자원 활용을 가능하게 한다.
• 데이터 복사 없이 효율적인 통신 프로토콜을 사용함으로써 종단 간 지연 시간을 최소화하여, 지연 민감도가 높은 사용 사례에 적합한 분산 XR 파이프라인을 제공한다.