[논문 리뷰] Assessing the Quality-of-Experience of Adaptive Bitrate Video Streaming

Zhengfang Duanmu, Wentao Liu외 5명|arXiv (Cornell University)|2020. 08. 20.

Image and Video Quality Assessment참고 문헌 52인용 수 20

한 줄 요약

이 논문은 적응형 비트레이트(ABR) 영상 스트리밍을 위한 가장 큰 공개 주관적 QoE 데이터베이스인 WaterlooSQoE-IV를 소개한다. 이 데이터베이스는 다양한 콘텐츠, 인코더, 네트워크 트레이스, ABR 알고리즘, 기기에서 구성된 1,350개의 실제 영상 스트리밍을 포함한다. 연구는 인간의 인지 모델링을 향상시키는 것이 ABR 성능 향상에 있어 고급 최적화나 기계학습 기법보다 더 중요하다는 것을 입증한다.

ABSTRACT

The diversity of video delivery pipeline poses a grand challenge to the evaluation of adaptive bitrate (ABR) streaming algorithms and objective quality-of-experience (QoE) models. Here we introduce so-far the largest subject-rated database of its kind, namely WaterlooSQoE-IV, consisting of 1350 adaptive streaming videos created from diverse source contents, video encoders, network traces, ABR algorithms, and viewing devices. We collect human opinions for each video with a series of carefully designed subjective experiments. Subsequent data analysis and testing/comparison of ABR algorithms and QoE models using the database lead to a series of novel observations and interesting findings, in terms of the effectiveness of subjective experiment methodologies, the interactions between user experience and source content, viewing device and encoder type, the heterogeneities in the bias and preference of user experiences, the behaviors of ABR algorithms, and the performance of objective QoE models. Most importantly, our results suggest that a better objective QoE model, or a better understanding of human perceptual experience and behaviour, is the most dominating factor in improving the performance of ABR algorithms, as opposed to advanced optimization frameworks, machine learning strategies or bandwidth predictors, where a majority of ABR research has been focused on in the past decade. On the other hand, our performance evaluation of 11 QoE models shows only a moderate correlation between state-of-the-art QoE models and subjective ratings, implying rooms for improvement in both QoE modeling and ABR algorithms. The database is made publicly available at: \url{https://ece.uwaterloo.ca/~zduanmu/waterloosqoe4/}.

연구 동기 및 목표

• ABR 스트리밍 알고리즘과 QoE 모델을 평가하기 위한 대규모, 다양한, 현실적인 주관적 QoE 데이터셋의 부족을 해결하기 위해.
• 원천 콘텐츠, 인코딩, 네트워크 조건, 시청 기기, ABR 알고리즘 등이 인간이 인지하는 영상 품질에 미치는 영향을 조사하기 위해.
• 주관적 평가와 비교하여 11개의 객관적 QoE 모델 성능을 평가하고 일반화 및 인지 정확도의 한계를 규명하기 위해.
• 장시간 스트리밍 테스트 동안 참가자의 참여를 유지하는 데 효과적인 주관적 실험 방법론을 탐색하기 위해.
• 고급 최적화 프레임워크와 향상된 QoE 모델링 중 어느 것이 ABR 알고리즘 성능 향상에 더 큰 영향을 미치는지 규명하기 위해.

제안 방법

• 5개의 원천 영상, 2개의 인코더, 9개의 네트워크 트레이스, 5개의 ABR 알고리즘, 3대의 시청 기기(휴대폰, HDTV, UHDTV)를 조합하여 총 1,350개의 ABR 스트리밍 영상으로 대규모이고 다양한 데이터셋을 구축하였다.
• 모든 영상 변형에서 인간의 평가 점수를 수집하기 위해 철저히 설계된 실험을 통해 광범위한 주관적 품질 평가를 수행하였다.
• 객관적 QoE 점수를 주관적 평가에 매핑하기 위해 비선형 회귀를 적용하여 모델 성능 간 통계적 비교를 가능하게 하였다.
• 예측 잔차 분산의 차이가 QoE 모델 간에 유의미한지 평가하기 위해 F-통계량과 가설 검정을 사용하였다.
• 비트레이트 중심, VQA 기반, 학습 기반 모델을 포함한 11개의 객관적 QoE 모델을 주관적 평가와 비교하였다.
• 중앙극한정리에 기반한 통계적 유의성 분석을 수행하여 50개 이상의 샘플을 기반으로 한 모델 비교의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 원천 콘텐츠, 인코딩, 네트워크 조건, 시청 기기가 ABR 스트리밍에서 주관적 QoE에 미치는 영향을 어떻게 상호작용하는가?
• RQ2 실제 스트리밍 환경에서 평균 비트레이트와 같은 전통적 객관적 지표가 인간이 인지하는 QoE와 얼마나 관련이 있는가?
• RQ3 최신의 학습 기반 QoE 모델은 기존 모델 대비 다양한 스트리밍 조건에서 얼마나 잘 일반화되는가?
• RQ4 전반적인 사용자 경험 향상에 있어 향상된 QoE 모델링과 고급 ABR 알고리즘 설계 중 어느 것이 더 큰 영향을 미치는가?
• RQ5 장시간 스트리밍 평가 동안 주관적 실험 방법론을 최적화하여 참여도와 신뢰성을 유지할 수 있는가?

주요 결과

• KSQI 모델은 WaterlooSQoE-IV 데이터셋에서 가장 뛰어난 성능을 보였으며, 주관적 평가를 예측하는 데 있어 다른 모든 객관적 QoE 모델을 뚜렷이 앞섰다.
• 최신의 학습 기반 QoE 모델인 VideoATLAS와 P.1203는 새로운 데이터셋에서 선형 Bentaleb2016 모델보다 성능이 열 劣하였으며, 다양한 스트리밍 조건에서의 일반화 능력이 떨어지는 것으로 나타났다.
• 객관적 QoE 모델은 주관적 평가와 중간 정도의 상관관계를 보였으며, 인지 모델링 향상 여지가 여전히 크다는 점을 시사한다.
• 연구 결과, 고급 최적화 프레임워크나 대역폭 예측기보다 인간 시각 시스템(HVS)과 인지 행동에 대한 깊은 이해가 ABR 향상에 더 중요하다는 것이 확인되었다.
• 재버퍼링과 품질 적응 경험은 재생 품질과 상호작용이 심하며, 이 세 가지 요소를 통합한 모델(예: KSQI)이 훨씬 더 뛰어난 성능을 보였다.
• 통계적 유의성 검정을 통해 KSQI가 항상 다른 모든 모델보다 뛰어나다는 것이 확인되었으며, 모든 쌍 비교에서 유의미하게 뛰어나게 나타났다(p < 0.05).