[논문 리뷰] An Augmented Autoregressive Approach to HTTP Video Stream Quality Prediction

Christos G. Bampis, Alan C. Bovik|arXiv (Cornell University)|2017. 07. 10.

Image and Video Quality Assessment참고 문헌 22인용 수 6

한 줄 요약

이 논문은 LIVE-NFLX QoE 데이터베이스에서 연속적인 시간 기반 HTTP 비디오 품질 예측을 햖을 때 예측 오차를 크게 줄이는 데 성공한 확장된 비선형 자기회귀 모델(NARX)을 제안한다. 이 모델은 여러 비디오 품질 평가(VQA) 모델의 출력을 융합하고 단순 평균 앙상블을 적용함으로써 성능을 향상시킨다. 특히 ST-RRED, GMSD, SSIM을 조합했을 때의 성능 향상이 두드러지며, 단일 입력 NARX 및 비앙상블 기반 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

HTTP-based video streaming technologies allow for flexible rate selection strategies that account for time-varying network conditions. Such rate changes may adversely affect the user's Quality of Experience; hence online prediction of the time varying subjective quality can lead to perceptually optimised bitrate allocation policies. Recent studies have proposed to use dynamic network approaches for continuous-time prediction; yet they do not consider multiple video quality models as inputs nor consider forecasting ensembles. Here we address the problem of predicting continuous-time subjective quality using multiple inputs fed to a non-linear autoregressive network. By considering multiple network configurations and by applying simple averaging forecasting techniques, we are able to considerably improve prediction performance and decrease forecasting errors.

연구 동기 및 목표

• 이전의 연속적인 시간 기반 QoE 예측 모델이 단일 VQA 입력에 의존하는 한계를 해결한다.
• 다양한 보완적인 VQA 모델(예: SSIM, GMSD, ST-RRED, VMAF)을 NARX 네트워크의 입력으로 통합하여 예측 정확도를 향상시킨다.
• 다양한 VQA 입력에서 유도된 시간 시리즈 예측을 평균화하는 단순 앙상블을 적용하여 예측 오차를 감소시킨다.
• 온라인(OL) 및 클로즈드 루프(CL) NARX 구성 간 예측 성능와 계산 비용 간의 상호 상충 관계를 평가한다.
• ST-RRED와 같은 고성능 VQA 모델을 다른 모델들(예: GMSD, SSIM)과 융합할 경우 앙상블 평균화 기법을 통해 더 우수한 성능을 얻을 수 있음을 입증한다.

제안 방법

• 시간 시리즈 입력을 기반으로 연속적인 주관적 비디오 품질을 예측하기 위해 비선형 외부 입력을 갖는 자기회귀 모델(NARX)을 사용한다.
• 다양한 품질 열화 특성을 반영하기 위해 여러 VQA 모델의 출력(예: SSIM, GMSD, ST-RRED, VMAF, NIQE)을 NARX 네트워크의 외부 입력으로 제공한다.
• 온라인(OL)과 클로즈드 루프(CL)의 두 가지 학습 구성 방식을 구현한다. OL은 각 VQA 모델을 별도로 학습하는 방식이며, CL은 예측 결과를 네트워크에 피드백하는 방식이다.
• 다양한 VQA 모델 예측 결과를 조합하여 예측의 안정성과 분산을 줄이기 위해 단순 평균 앙상블을 적용한다.
• 학습 및 평가에 LIVE-NFLX 비디오 QoE 데이터베이스를 사용하며, 표준 평가 지표로는 OR(Overall Rate), SROCC(Spearman의 순위상관계수), PLCC(Pearson 선형상관계수)를 사용한다.
• 평가 지표의 중앙값을 기반으로 다양한 입력 조합, 구성 방식(OL 대 CL), 앙상블 전략 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 단일 모델을 사용하는 것과 비교해 복수의 VQA 모델 출력을 융합하는 것이 연속적인 시간 기반 QoE 예측 정확도를 향상시키는가?
• RQ2 다양한 VQA 예측 결과에 대해 단순 평균 앙상블을 적용할 경우 예측 오차가 감소하고 예측의 강건성이 향상되는가?
• RQ3 온라인(OL) 및 클로즈드 루프(CL) NARX 구성 간 예측 성능와 학습 효율성에서의 차이는 어떠한가?
• RQ4 확장된 NARX 프레임워크에 입력으로 사용할 경우 어떤 VQA 모델 조합이 가장 뛰어난 예측 성능을 낼 수 있는가?
• RQ5 ST-RRED와 같은 고성능 모델을 포함할 경우 앙상블 평균화의 효과가 QoE 예측에 얼마나 크게 기여하는가?

주요 결과

• 가장 뛰어난 성능을 보인 구성은 OL NARX 설정에 평균 앙상블을 적용하고 ST-RRED, GMSD, SSIM의 세 가지 입력을 사용한 것으로, OR는 3.5135, SROCC는 0.9321, PLCC는 0.9396을 기록했다.
• 평균 앙상블은 모든 VQA 조합 및 구성에서 일관되게 예측 오차를 감소시켰으며, 특히 ST-RRED와 GMSD, SSIM을 조합했을 때 가장 뚜렷한 향상이 관찰되었다.
• 정확도와 학습 효율성 측면에서 OL 구성이 CL 구성보다 뛰어났으며, 동일한 입력 수에 대해 CL은 최대 2.5배 더 많은 학습 시간이 소요되었다.
• ST-RRED를 다른 모델들(예: SSIM, GMSD)과 융합할 경우 단독으로 ST-RRED를 사용하는 것보다 더 좋은 결과를 얻었으며, 이는 다양한 VQA 모델 간의 보완적 정보가 있음을 시사한다.
• 다중 입력과 앙상블 평균화를 적용한 NARX 모델은 원래의 단일 입력 NARX 모델보다 뚜렷하게 우수한 성능을 보였으며, 압축 아티팩트가 존재하거나 재버퍼링이 없는 영상에서 특히 두드러졌다.
• 앙상블 평균화의 효과는 OL 구성에서 가장 두드러졌으며, ST-RRED/GMSD/SSIM 조합에서 최고의 SROCC(0.9321)와 PLCC(0.9396)를 달성했다.