[논문 리뷰] Wireless Edge-Empowered Metaverse: A Learning-Based Incentive Mechanism for Virtual Reality

Minrui Xu, Dusit Niyato외 4명|arXiv (Cornell University)|2021. 11. 07.

Virtual Reality Applications and Impacts인용 수 16

한 줄 요약

이 논문은 무선 엣지 기반 메타버스 환경에서 VR 서비스 할당 및 가격 설정을 최적화하기 위해 딥 강화학습(DRL) 기반 더블 더치 경매 메커니즘을 제안한다. 시각적 품질(SSIM/VMAF)을 사용자 경험으로 모델링함으로써, 이 프레임워크는 VR 사용자와 서비스 제공자 간에 효율적이고 저비용의 거래를 가능하게 하며, 기존 기준 대비 최소 50% 이상 정보 교환 비용을 절감하면서 거의 최적의 사회적 복지 수준을 달성한다.

ABSTRACT

The Metaverse is regarded as the next-generation Internet paradigm that allows humans to play, work, and socialize in an alternative virtual world with immersive experience, for instance, via head-mounted display for Virtual Reality (VR) rendering. With the help of ubiquitous wireless connections and powerful edge computing technologies, VR users in wireless edge-empowered Metaverse can immerse in the virtual through the access of VR services offered by different providers. However, VR applications are computation- and communication-intensive. The VR service providers (SPs) have to optimize the VR service delivery efficiently and economically given their limited communication and computation resources. An incentive mechanism can be thus applied as an effective tool for managing VR services between providers and users. Therefore, in this paper, we propose a learning-based Incentive Mechanism framework for VR services in the Metaverse. First, we propose the quality of perception as the metric for VR users immersing in the virtual world. Second, for quick trading of VR services between VR users (i.e., buyers) and VR SPs (i.e., sellers), we design a double Dutch auction mechanism to determine optimal pricing and allocation rules in this market. Third, for auction communication reduction, we design a deep reinforcement learning-based auctioneer to accelerate this auction process. Experimental results demonstrate that the proposed framework can achieve near-optimal social welfare while reducing at least half of the auction information exchange cost than baseline methods.

연구 동기 및 목표

• 무선 엣지 기반 메타버스 환경에서 사용자와 서비스 제공자 간의 VR 서비스 거래를 효율적으로 관리할 수 있는 인cent라이즈 메커니즘을 설계하는 것.
• SSIM 및 VMAF를 공동 지표로 삼아 시각적 품질에 초점을 맞춰 VR의 유틸리티를 재정의하는 것.
• 콜 마켓 메커니즘을 통해 VR 사용자(구매자)와 서비스 제공자(판매자) 간에 빠르고 비동기적인 거래를 가능하게 하는 것.
• 사전 지식 없이도 최적의 시계 갱신 전략을 학습할 수 있는 DRL 기반 경매자 덕분에 정보 교환 비용을 줄이는 것.
• 동적이고 대규모의 VR 서비스 시장에서 사회적 복지와 경매 효율성을 균형 있게 유지하는 것.

제안 방법

• 구조적 유사도(SSIM)와 비디오 다중 방법 평가 융합(VMAF)을 사용하여 VR 사용자 경험을 정량화하는 인지 기반 유틸리티 지표를 제안한다.
• 비동기적이고 유한 시간 내 거래가 가능한 이중 더치 경매(DDA) 메커니즘을 설계하며, 구매자 시계는 하향, 판매자 시계는 상향으로 설정한다.
• 시장 피드백에 기반해 시계 간격을 동적으로 조정하는 DRL 에이전트를 경매자로 도입한다.
• 사회적 복지를 극대화하고 정보 교환 비용을 최소화하는 보상 함수를 사용해 DRL 에이전트를 훈련시킨다.
• 경매자가 VR 서비스 시장 참가자들과의 상호작용을 통해 최적의 정책을 학습할 수 있도록 마코프 결정 과정(MDP) 프레임워크를 활용한다.
• 경매 파라미터를 설정: 가격 범위 [1, 100], 최소 간격 1, 가중치 w₁ = w₂ = 0.5, 교환 비용 c = 0.1.

Figure 1: A Typical Framework of Wireless Edge-empowered Metaverse.

실험 결과

연구 질문

• RQ1 메타버스에서 비팬화형 VR의 인지 품질은 어떻게 효과적으로 모델링할 수 있으며, 이를 통해 사용자 경험을 반영할 수 있는가?
• RQ2 콜 마켓 환경에서 VR 사용자와 서비스 제공자 간에 효율적이고 비동기적인 매칭 및 가격 설정을 가능하게 하는 경매 메커니즘은 무엇인가?
• RQ3 DRL 기반 경매자가 동적 VR 서비스 시장에서 사회적 복지에 큰 영향을 주지 않으면서도 정보 교환 비용을 줄일 수 있는가?
• RQ4 시장 규모와 VR 서비스 비트레이트 요구사항이 증가함에 따라 DRL 기반 경매자의 성능은 어떻게 변화하는가?
• RQ5 무선 엣지 기반 메타버스 응용 프로그램을 위한 인센티브 메커니즘에서 사회적 복지와 경매 효율성 간의 상충 관계는 무엇인가?

주요 결과

• DRL 기반 DDA는 최대 달성 가능한 사회적 복지 대비 약 5% 손실만을 보이며 거의 최적의 사회적 복지를 달성한다.
• 제안된 프레임워크는 최신 기술 대비 최소 50% 이상, 기존 DDA 기준 대비 약 2/3 감소한 정보 교환 비용을 기록한다.
• 대규모 시장(예: 50×50)에서는 약 160 에포크 내에 수렴하지만, 소규모 시장에 비해 수렴 속도는 느리고 안정성이 떨어진다.
• 높은 VR 서비스 비트레이트로 인한 인지 품질 향상으로 사회적 복지는 증가하며, DRL 기반 DDA는 이 변화에 동적으로 대응한다.
• 랜덤 방법에 비해 DRL 기반 경매자는 사회적 복지를 약 20% 더 높게 달성하여 학습 전략의 가치를 입증한다.
• DRL 기반 DDA는 대규모 시장에서도 높은 효율성을 유지하며, SOTA 및 기존 DDA 방법 대비 정보 교환 비용을 크게 낮춘다.

Figure 2: Convergence of the DRL-based DDA under different sizes of market.