[논문 리뷰] A Knowledge-Driven Quality-of-Experience Model for Adaptive Streaming Videos

Zhengfang Duanmu, Wentao Liu외 5명|arXiv (Cornell University)|2019. 11. 18.

Image and Video Quality Assessment참고 문헌 62인용 수 12

한 줄 요약

이 논문은 적응형 비디오 스트리밍을 위한 지식 기반 객관적 경험 품질(QoE) 모델인 KSQI를 제안한다. 이 모델은 제약 최적화를 통해 인간 시각 시스템(HVS) 사전 지식과 제한된 주관적 데이터를 통합한다. 인지적 제약에서 유도된 볼록 집합 내에서 QoE 함수를 모델링함으로써, KSQI는 다양한 스트리밍 환경과 벤치마크 데이터셋에서 최신 기술 수준의 일반화 성능을 달성하며, 기존의 학습 기반 모델보다 교차 데이터셋 평가에서 뛰어난 성능을 보인다.

ABSTRACT

The fundamental conflict between the enormous space of adaptive streaming videos and the limited capacity for subjective experiment casts significant challenges to objective Quality-of-Experience (QoE) prediction. Existing objective QoE models exhibit complex functional form, failing to generalize well in diverse streaming environments. In this study, we propose an objective QoE model namely knowledge-driven streaming quality index (KSQI) to integrate prior knowledge on the human visual system and human annotated data in a principled way. By analyzing the subjective characteristics towards streaming videos from a corpus of subjective studies, we show that a family of QoE functions lies in a convex set. Using a variant of projected gradient descent, we optimize the objective QoE model over a database of training videos. The proposed KSQI demonstrates strong generalizability to diverse streaming environments, evident by state-of-the-art performance on four publicly available benchmark datasets.

연구 동기 및 목표

• 적응형 비디오 스트리밍을 위한 기존 객관적 QoE 모델에서 주관적 데이터 부족과 일반화 성능 열악함 문제를 해결하기 위해.
• 인간 시각 시스템(HVS)의 사전 지식을 원칙적으로 통합하여 QoE 함수 학습을 정규화하기 위해.
• 다양한 비디오 콘텐츠, 인코딩 설정, 네트워크 조건, 기기 환경에서 뛰어난 성능을 보이는 강건하고 일반화 가능한 QoE 모델을 개발하기 위해.
• 스트리밍 비디오 품질 평가에서 발생하는 분포 이동 및 개념 이동 문제를 인지적 제약 조건을 모델에 통합하여 해결하기 위해.
• 시간이 지남에 따라 새로운 HVS 지식과 특징을 통합할 수 있는 확장 가능하고 스케일 수 있는 QoE 모델링 프레임워크를 제공하기 위해.

제안 방법

• 비디오 품질 및 재생 정지 시간 특징에 대해 비모수적 모델을 사용하여 QoE 예측을 제약 최적화 문제로 공식화한다.
• HVS 특성에서 유도된 초평면과 양의 코너의 교차로 형성된 볼록 집합 내에 유효한 QoE 함수의 가족이 존재하도록 모델링한다.
• 주관적 연구에서 유도된 선형 부등식 제약 조건 하에 QoE 함수를 최적화하기 위해 투영된 경사 하강법의 변종을 사용한다.
• 관측된 인지적 행동, 예를 들어 비디오 품질 및 재생 정지 시간에 대한 QoE의 단조성과 유계성과 같은 제약 조건을 유도한다.
• 입력 특징으로 비디오 품질(예: VMAF), 재생 정지 지속 시간, 어댑테이션 크기를 포함하며, 이는 이산화를 위해 분할 처리된다.
• 정규화 파라미터 λ는 주관적 데이터에 대한 충실도와 QoE 함수의 매끄러움 사이의 균형을 조절하며, 실험 결과 λ의 변화에 대해 안정적인 성능을 보였다.

실험 결과

연구 질문

• RQ1 인간 시각 시스템(HVS)의 사전 지식을 체계적으로 객관적 QoE 모델에 통합하여 다양한 스트리밍 조건에서의 일반화 성능 향상이 가능한가?
• RQ2 인지적 제약 조건을 어떻게 수학적으로 형식화하여 유효한 QoE 함수의 볼록 집합을 정의할 수 있는가?
• RQ3 QoE 평가에서 흔히 발생하는 저데이터 환경에서 지식 기반 정규화가 순수 데이터 기반 학습보다 우월한가?
• RQ4 개별 인지적 제약 조건이 모델 성능에 기여하는 정도는 어느 정도이며, 상호작용은 어떻게 이루어지는가?
• RQ5 모델이 바이닝 크기 및 정규화 강도 λ와 같은 하이퍼파rameter에 얼마나 민감한가?

주요 결과

• KSQI는 네 개의 공개 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 모든 다른 모델보다 쌍별 통계적 비교에서 뛰어난 성능을 보였다.
• 모델은 강력한 일반화 성능을 보이며, 훈련 세트와 다른 데이터셋(예: LIVE-NFLX-II 및 WaterlooSQoE-III)에서도 높은 정확도를 유지했다.
• 도입된 인지적 제약 조건의 수가 증가할수록 성능 향상이 나타나, QoE 함수 정규화에 효과적임을 확인했다.
• 비디오 품질에 대한 QoE 단조성과 관련된 제약(제3제약)은 데이터셋에 따라 영향이 다양하게 나타나, 맥락에 따라 유효성이 달라질 수 있음을 시사했다.
• KSQI는 바이닝 크기(5–20개) 및 정규화 파라미터 λ의 변화에 대해 뛰어난 안정성을 보이며, 다양한 하이퍼파rameter 설정에서도 안정적인 성능을 유지했다.
• VMAF를 비디오 품질 측정 기준으로 사용할 경우 최고의 성능를 기록하며, 이는 VMAF가 모델 내에서 인지적 표현으로서의 열세를 지닌다는 것을 확인했다.