[논문 리뷰] Viewport Adaptation-Based Immersive Video Streaming: Perceptual Modeling and Applications

Shaowei Xie, Qiu Shen외 5명|arXiv (Cornell University)|2018. 02. 16.

Image and Video Quality Assessment참고 문헌 32인용 수 7

한 줄 요약

이 논문은 대역폭 제약 하에서 정밀 조정 동안 양자화 단계 크기와 공간 해상도가 품질 열화에 미치는 영향을 종합적으로 모델링하는 시각적 품질 모델을 제안한다. 두 개의 닫힌 형식 지수 함수의 곱을 사용하여, 평균 평가 점수(MOS)를 높은 정확도로 예측한다(피어슨 및 스피어만 상관계수 ≈0.98) 및 비트레이트-왜곡 최적화를 가능하게 하여 히우리스틱 방법 대비 9.36%의 BD-Rate 향상을 달성한다.

ABSTRACT

Immersive video offers the freedom to navigate inside virtualized environment. Instead of streaming the bulky immersive videos entirely, a viewport (also referred to as field of view, FoV) adaptive streaming is preferred. We often stream the high-quality content within current viewport, while reducing the quality of representation elsewhere to save the network bandwidth consumption. Consider that we could refine the quality when focusing on a new FoV, in this paper, we model the perceptual impact of the quality variations (through adapting the quantization stepsize and spatial resolution) with respect to the refinement duration, and yield a product of two closed-form exponential functions that well explain the joint quantization and resolution induced quality impact. Analytical model is cross-validated using another set of data, where both Pearson and Spearman's rank correlation coefficients are close to 0.98. Our work is devised to optimize the adaptive FoV streaming of the immersive video under limited network resource. Numerical results show that our proposed model significantly improves the quality of experience of users, with about 9.36\% BD-Rate (Bjontegaard Delta Rate) improvement on average as compared to other representative methods, particularly under the limited bandwidth.

연구 동기 및 목표

• 시각적 화면 정밀 조정 과정에서의 품질 변동이 양자화 단계 크기와 공간 해상도에 의해 미치는 시각적 영향을 모델링한다.
• 정밀 조정 시간 τ에 기반하여 주관적 품질(MOS)을 정확하게 예측할 수 있는 닫힌 형식의 분석 모델을 개발한다.
• 제안된 모델을 사용하여 비트레이트 제약 조건 하에서 시각적 품질을 최대화함으로써 적응형 스트리밍을 최적화한다.
• 독립적인 주관적 평가를 통한 교차 검증을 통해 모델의 정확성을 검증한다.
• 히우리스틱 적응 전략 대비 실질적인 경험 품질(QoE) 향상을 입증한다.

제안 방법

• 정밀 조정 시간 τ 동안 양자화 단계 크기(q)와 공간 해상도(s)가 MOS에 미치는 영향을 모델링하는 두 개의 지수 함수의 곱으로 시각적 품질 영향을 수식화한다.
• 모델의 매개변수를 q와 s에 종속된 고정된 닫힌 형식 함수로 유도하여 재학습 없이도 분석 최적화를 가능하게 한다.
• 독립된 데이터셋을 사용하여 모델을 검증하고, 예측된 MOS와 측정된 MOS 간의 피어슨 및 스피어만 상관계수를 계산한다.
• 모델을 활용하여 비트레이트 제약 조건 하에서 최대화되는 추정 시각적 품질(Q̂)을 위한 비트레이트 제약 최적화 문제를 해결한다.
• 모든 비트레이트 예산 B에 대해 이산적인 양자화 단계 크기(q)와 정규화된 공간 해상도(ŝ) 조합을 전수 조사하는 브루트 포스 검색을 수행하여 최적 설정을 찾는다.
• BD-Rate 지표를 사용하여 제안된 모델 기반 적응 전략과 히우리스틱 규칙 기반 방법 간의 정량적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 양자화 단계 크기와 공간 해상도의 변동이 시각적 화면 정밀 조정 중 인지되는 영상 품질에 어떻게 종합적으로 영향을 미치는가?
• RQ2 닫힌 형식의 시각적 모델이 다양한 정밀 조정 시간 동안 시각적 적응형 임mersive 영상 스트리밍의 MOS를 정확하게 예측할 수 있는가?
• RQ3 대역폭 제약 조건 하에서 제안된 모델이 히우리스틱 적응 전략 대비 경험 품질(QoE) 향상에 얼마나 기여하는가?
• RQ4 모델을 활용한 양자화와 해상도의 종합 최적화가 임머시 영상 스트리밍의 비트레이트-왜곡 효율성에 어떻게 영향을 미치는가?
• RQ5 다양한 네트워크 조건 하에서 이산적 해상도 및 양자화 수준의 영향을 고려할 때 최적의 적응 전략은 어떻게 달라지는가?

주요 결과

• 제안된 시각적 모델은 교차 검증에서 예측된 MOS와 측정된 MOS 간에 피어슨 상관계수 0.98과 스피어만 순위 상관계수 0.98을 달성한다.
• 모델은 시각적 적응 최적화를 분석적으로 가능하게 하여, 주어진 비트레이트 제약 조건에 대해 최적의 양자화 단계 크기와 공간 해상도를 선택할 수 있다.
• 모델 기반 적응 전략은 고정 비트레이트 임계값 기반으로 해상도를 할당하는 히우리스틱 방법 대비 평균 9.36%의 BD-Rate 향상을 달성한다.
• 이산적 공간 해상도 수준으로 인해 최적의 양자화 단계 크기(q)는 비트레이트 증가에 따라 단조롭게 감소하지 않으며, q에 대한 비단조적 점프가 발생한다.
• 공간 해상도가 낮은 수준으로 고정되어 있을 경우, 양자화 단계 크기 감소에 따라 품질 향상이 더 빠르게 일어나며, 이는 낮은 해상도에서 품질 향상에 대한 q의 민감도가 더 높음을 시사한다.
• 모든 테스트 영상에서 모델의 정확도가 유지되며, 모든 매개변수를 고정하고 영상 별 재학습이 필요하지 않다.