[논문 리뷰] Semantic Sensing and Communications for Ultimate Extended Reality

Bowen Zhang, Zhijin Qin외 2명|arXiv (Cornell University)|2022. 12. 16.

Augmented Reality Applications인용 수 14

한 줄 요약

이 논문은 초저지연, 고속도의 무선 확장현실(XR)을 구현하기 위해 작업에 관련된 의미 정보만 전송하는 통합 의미 감지, 렌더링 및 통신 프레임워크를 제안한다. 의미 인식 압축과 분산 처리를 활용함으로써 데이터 트래픽을 감소시키고 렌더링 속도를 향상시키며 전송 효율성을 개선하여 기존 방법에 비해 지연 시간과 대역폭 절감 측면에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

As a key technology in metaversa, wireless ultimate extended reality (XR) has attracted extensive attentions from both industry and academia. However, the stringent latency and ultra-high data rates requirements have hindered the development of wireless ultimate XR. Instead of transmitting the original source data bit-by-bit, semantic communications focus on the successful delivery of semantic information contained in the source, which have shown great potentials in reducing the data traffic of wireless systems. Inspired by semantic communications, this article develops a joint semantic sensing, rendering, and communication framework for wireless ultimate XR. In particular, semantic sensing is used to improve the sensing efficiency by exploring the spatial-temporal distributions of semantic information. Semantic rendering is designed to reduce the costs on semantically-redundant pixels. Next, semantic communications are adopted for high data transmission efficiency in wireless ultimate XR. Then, two case studies are provided to demonstrate the effectiveness of the proposed framework. Finally, potential research directions are identified to boost the development of semantic-aware wireless ultimate XR.

연구 동기 및 목표

• 무선 최고 수준의 XR 시스템에서 초저지연(<10 ms) 및 초고속도 데이터 전송(>10 Gbps) 요구사항을 해결한다.
• 원격 서버에 의미 처리를 오프로드하여 XR 헤드마운트 디바이스(HMD)의 계산 및 에너지 비용을 줄인다.
• 원시 감지 데이터가 아닌 작업에 관련된 의미 콘텐츠에 집중함으로써 무선 XR에서의 데이터 전송 오버헤드를 최소화한다.
• 의미 브로드캐스트와 현지 뷰 합성 기반으로 다중 사용자 지원이 가능한 VR/AR 애플리케이션을 실현한다.
• 무선 XR에서 종단간 효율성을 확보하기 위해 의미 감지, 렌더링 및 통신을 통합한 통합 프레임워크를 개발한다.

제안 방법

• 의미 감지를 도입하여 의미 콘텐츠의 공간-시간 분포를 활용함으로써 관련 기능에 집중함으로써 감지 효율성을 향상시킨다.
• 의미적으로 중복되는 픽셀을 제거함으로써 렌더링 워크로드와 서버 측 데이터 양을 줄이는 의미 렌더링을 설계한다.
• 의미 특징을 변조 심벌로 매핑하기 위해 딥 네트워크(예: 5층의 완전 연결 네트워크)를 사용하여 의미 통신을 구현한다.
• SMPL 기반 인간 메시 재구성 모델을 사용하여 인간 신체 자세와 형태를 압축된 의미 형태로 생성하고 전송한다.
• 3D 인지 생성 모델을 적용하여 단일 브로드캐스트 의미 표현에서 사용자별 개인화된 뷰를 현지에서 재구성할 수 있도록 한다.
• 모델 분할을 통한 연합 학습을 활용하여 뷰 합성 모델을 효율적으로 훈련시키며, 개인정보 보호를 유지하고 클라이언트 측 계산 부담을 줄인다.

실험 결과

연구 질문

• RQ1 고해상도 센서를 탑재한 무선 XR 시스템에서 의미 감지 기술은 데이터 수집 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 의미 렌더링은 고해상도 XR 애플리케이션에서 중복 픽셀 처리를 얼마나 줄이고 렌더링 속도를 얼마나 가속화할 수 있는가?
• RQ3 의미 통신은 인지 품질을 유지하면서도 무선 XR에서 전송 데이터 전송률을 현저히 줄일 수 있는가?
• RQ4 단일 의미 브로드캐스트는 다중 사용자 VR/AR 환경에서 서로 다른 시야각을 가진 여러 사용자를 어떻게 지원할 수 있는가?
• RQ5 의미 인식 XR 파이프라인을 구현할 때 성능, 지연 시간 및 계산 비용 간의 시스템 수준의 트레이드오프는 무엇인가?

주요 결과

• 의미 통신 시스템은 기존 전송 방식에 비해 인간 메시 재구성에서 뛰어난 성능을 보이며, -20 dB에서 30 dB까지의 신호 대 잡음비(SNR) 범위에서 평균 관절 위치 오차(MPJPE)가 낮게 나타난다.
• 제안된 의미 프레임워크는 작업에 관련된 의미 콘텐츠에 집중함으로써 데이터 전송량을 줄여 단일 뷰 브로드캐스트를 통한 다중 사용자 VR 콘텐츠 전달을 효율적으로 가능하게 한다.
• 모델 분할을 통한 연합 학습은 개인정보 보호를 유지하면서도 3D 인지 뷰 합성 모델을 효율적으로 훈련시켜 클라이언트 당 계산 부담을 감소시킨다.
• 딥 강화 학습을 활용한 의미 인식 자원 할당은 이질적인 데이터 요구를 가진 다중 사용자 XR 환경에서 전체 시스템의 자원 활용도를 최적화할 수 있다.
• 모델 정제와 메타학습은 HMD에서 의미 모델 정확도와 현장 계산 비용 간의 균형을 맞추는 실현 가능한 길을 제공한다.
• 프레임워크는 지연 시간과 대역폭 효율성 측면에서 뚜렷한 성능 향상을 달성하여 현재의 무선 대역폭 제약 조건 하에서도 무선 최고 수준의 XR를 실현 가능하게 한다.