[논문 리뷰] Joint Communication and Computational Resource Allocation for QoE-driven Point Cloud Video Streaming

Jie Li, Cong Zhang외 3명|arXiv (Cornell University)|2020. 01. 06.

Computer Graphics and Visualization Techniques참고 문헌 15인용 수 6

한 줄 요약

이 논문은 대역폭과 처리 능력 제약 조건 하에서 사용자 QoE를 최대화하기 위해 품질 수준 선택(압축 해제되지 않은 타일 포함)을 최적화하는 QoE 기반의 포인트 클라우드 비디오 스트리밍을 위한 통합 통신 및 계산 자원 할당 기법을 제안한다. 이 기법은 연속 변수에 대해 KKT 조건을, 정수 결정 변수에 대해 분기 및 한계 기법을 적용하는 이단계 최적화를 사용하여 기존의 압축 전용 전송 방식보다 높은 QoE와 더 나은 자원 활용도를 달성한다.

ABSTRACT

Point cloud video is the most popular representation of hologram, which is the medium to precedent natural content in VR/AR/MR and is expected to be the next generation video. Point cloud video system provides users immersive viewing experience with six degrees of freedom and has wide applications in many fields such as online education, entertainment. To further enhance these applications, point cloud video streaming is in critical demand. The inherent challenges lie in the large size by the necessity of recording the three-dimensional coordinates besides color information, and the associated high computation complexity of encoding. To this end, this paper proposes a communication and computation resource allocation scheme for QoE-driven point cloud video streaming. In particular, we maximize system resource utilization by selecting different quantities, transmission forms and quality level tiles to maximize the quality of experience. Extensive simulations are conducted and the simulation results show the superior performance over the existing schemes

연구 동기 및 목표

• 6DoF 몰입형 VR/AR 응용 분야에서 포인트 클라우드 비디오 스트리밍의 높은 대역폭 및 계산 요구량에 도전한다.
• 기존 기법들이 디코딩 지연과 계산 자원 제약 조건을 忽시하는 한계를 극복한다.
• 통신 및 계산 자원 할당을 공동으로 최적화하여 사용자 품질 경험(QoE)을 최대화한다.
• 다양한 품질 수준에서 압축 해제된 타일을 사용하는 것이 디코딩 지연을 줄이기 위한 실현 가능한 대안이 되도록 제안한다.
• 현실적인 자원 제약 조건 하에서 전송 효율성과 재생 품질을 균형 있게 유지하는 실용적인 프레임워크를 개발한다.

제안 방법

• 포인트 클라우드 비디오를 3D 공간 타일로 분할하고 각 타일을 다수의 품질 수준으로 인코딩한다.
• 통신 및 계산 자원 제약 조건 하에서 QoE를 최대화하는 비선형 정수계획모델로 문제를 수립한다.
• 최적화 문제의 연속적 완화 문제를 해결하기 위해 카루쉬-쿠른-터커(Karush-Kuhn-Tucker, KKT) 조건을 적용한다.
• 품질 수준 선택을 나타내는 정수 변수에 대해 부분 기반 및 한계 기법을 사용하여 부분 최적 해를 확보한다.
• 압축 타일과 압축 해제된 타일(영구적인 디코딩 지연 없음)을 모두 최적화의 결정 변수로 통합한다.
• 계산 자원(코어 수)과 통신 자원(대역폭)을 다양하게 설정하여 시스템 성능을 평가하기 위해 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 비디오 스트리밍에서 QoE를 최대화하기 위해 통신 및 계산 자원을 어떻게 통합적으로 할당할 수 있는가?
• RQ2 압축 타일 외에 압축 해제된 타일(디코딩 지연 없음)을 포함할 경우, 기존의 압축 타일 전용 방식 대비 시스템 성능과 QoE에 어떤 영향을 미치는가?
• RQ3 6DoF 포인트 클라우드 스트리밍에서 전송 지연과 디코딩 지연 간의 트레이드오프가 전체 사용자 경험에 어떤 영향을 미치는가?
• RQ4 가용 대역폭과 처리 능력에 기반하여 품질 수준을 지능적으로 선택할 경우, 시스템 자원 활용도는 어느 정도 향상될 수 있는가?
• RQ5 제안된 기법은 QoE 및 자원 효율성 측면에서 기존의 압축 전용 전송 기법에 비해 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 기법은 특히 계산 자원이 제한된 환경에서 기존의 압축 전용 전송 방식보다 뚜렷이 높은 QoE를 달성한다.
• 계산 자원이 부족한 경우(예: 모바일 기기), 압축 해제된 타일을 활용할 수 있는 기법의 능력이 기준 방법 대비 뚜렷한 QoE 향상을 이룬다.
• 높은 대역폭에서는 고품질의 압축 타일을 우선적으로 전송하는 반면, 높은 계산 능력이 확보된 경우 더 많은 압축 타일을 전송하여 자원 활용도를 높인다.
• 계산 자원과 통신 자원 사용의 균형을 측정한 시스템 자원 활용도는 제안된 기법에서 기존 방법보다 일관되게 높다.
• 모든 테스트 구성(예: 2, 4, 6코어; 54–104 Mbps 대역폭)에서 자원이 허용할 경우 제안된 기법은 더 많은 고품질 타일(R5)을 전송하여 자원 가용성에 대한 효과적인 적응성을 보여준다.
• 시뮬레이션 결과는 통신 및 계산 자원의 통합 최적화가 포인트 클라우드 비디오 스트리밍에서 품질, 지연, 자원 효율성 간의 우수한 균형을 이끌어내는 데 기여함을 확인한다.