[논문 리뷰] Perceptual Quality of Video with Periodic Frame Rate and Quantization Variation-Subjective Studies and Analytical Modeling

Yen-Fu Ou, Wenzhi Lin외 2명|arXiv (Cornell University)|2014. 06. 08.

Image and Video Quality Assessment참고 문헌 7인용 수 3

한 줄 요약

이 논문은 주기적인 프레임 레이트(FR) 및量子화 스텝사이즈(QS) 변화가 있는 영상에 대한 지각 품질 모델을 제안한다. 주관적 테스트와 최소 제곱 피팅을 통해 단순한 분석 모델(QTV는 FR, QQV는 QS에 대해)을 유도한다. 주요 발견은 FR 변화에 의한 품질 저하가 $t_h/t_l > 2$일 때 포화되며, QS 변화는 $q_h/q_l$가 클수록 더 심한 저하를 초래하며, 변화 주파수가 낮을수록 인지되는 품질 손실이 줄어든다는 것이다.

ABSTRACT

In networked video applications, the frame rate (FR) and quantization stepsize (QS) of a compressed video are often adapted in response to the changes of the available bandwidth. It is important to understand how do the variation of FR and QS and their variation pattern affect the video quality. In this paper, we investigate the impact of temporal variation of FR and QS on the perceptual video quality. Among all possible variation patterns, we focus on videos in which two FR's (or QS's) alternate over a fixed interval. We explore the human responses to such variation by conducting subjective evaluation of test videos with different variation magnitudes and frequencies. We further analyze statistical significance of the impact of variation magnitude, variation frequency, video content, and their interactions. By analyzing the subjective ratings, we propose two models for predicting the quality of video with alternating FR and QS, respectively, The proposed models have simple mathematical forms with a few content-dependent parameters. The models fit the measured data very well using parameters determined by least square fitting with the measured data. We further propose some guidelines for adaptation of FR and QS based on trends observed from subjective test results.

연구 동기 및 목표

• 주기적인 시간적 프레임 레이트 및 양자화 스텝사이즈 변화가 지각 영상 품질에 미치는 영향를 이해하기 위해.
• 변화의 크기와 주파수에 기반해 지각 품질을 예측할 수 있는 분석 모델을 개발하기 위해.
• 동적 네트워크 환경에서 비트레이트 적응을 위한 설계 지침을 제공하기 위해.
• 동일한 비트레이트 변동 조건에서 FR 변화와 QS 변화의 지각적 영향을 비교하기 위해.
• 주관적 테스트 데이터를 바탕으로 품질 예측을 위한 콘텐츠에 따라 달라지는 파rameter를 식별하기 위해.

제안 방법

• 고정된 간격(Fz) 동안 번갈아가는 프레임 레이트($t_l$, $t_h$)와 양자화 스텝사이즈($q_l$, $q_h$)를 가진 테스트 영상을 사용해 주관적 품질 평가를 수행하였다.
• 변화의 크기, 주파수, 영상 콘텐츠 및 그 상호작용의 통계적 유의성을 평가하기 위해 분산분석(ANOVA)을 사용하였다.
• FR 변화에 대한 QTV 모델을 제안하였으며, 이는 일정한 FR 품질과 $t_l/t_h$에만 의존하는 저하 요소의 곱으로 모델링된다.
• 유사하게 QS 변화에 대한 QQV 모델을 개발하였으며, 일정한 QS 품질과 $q_l/q_h$에 기반한 저하 요소를 조합하였다.
• 주관적 테스트에서의 평균 평가 점수(MOS)에 기반해 최소 제곱 회귀를 사용해 모델 파rameter를 피팅하였다.
• 다양한 테스트 시퀀스를 사용해 모델을 검증하였으며, 향후 확장 가능성을 위해 영상 콘텐츠에서 유도된 파rameter 예측 방법을 논의하였다.

실험 결과

연구 질문

• RQ1 주기적인 프레임 레이트 변화가 지각 영상 품질에 미치는 영향는 어떠한가? 변화의 크기와 주파수는 어떤 역할을 하는가?
• RQ2 주기적인 양자화 스텝사이즈 변화가 지각 품질에 미치는 영향는 어떠한가? 일정한 QS와 비교해 볼 때 어떻게 다른가?
• RQ3 동일한 평균 비트레이트 조건에서, 프레임 레이트를 변화시키는 것과 양자화 스텝사이즈를 변화시키는 것의 상대적인 지각적 영향은 어떠한가?
• RQ4 고비율에서 FR 또는 QS 변화에 의한 품질 저하가 포화되는가? 만약 그렇다면 어느 지점에서 포화되는가?
• RQ5 영상 콘텐츠 특성이 FR 및 QS 변화에 대한 민감도에 어떤 영향을 미치는가?

주요 결과

• 프레임 레이트 변화에 의한 품질 저하는 비율 $t_h/t_l > 2$일 때 포화되며, 이 임계값을 초과하면 추가로 개선되지 않는다는 것을 시사한다.
• 양자화 스텝사이즈 변화의 경우, $q_h/q_l$가 크고 $q_l$가 낮을수록 저하가 가장 심각하며, $q_l/q_h < 0.4$일 때 개선 효과가 포화된다.
• 더 느린 변화 주파수(더 긴 Fz)는 일정한 QS 조건 대비 품질 저하를 줄이지만, 동일한 조건에서 FR 변화에서는 이 효과를 관찰할 수 없다.
• 동일한 평균 QS 조건에서 일정한 QS를 가진 영상은 변동하는 QS를 가진 영상보다 지각적으로 더 나은 품질을 가진다. 이는 변동 자체가 품질 저하를 유발한다는 것을 의미한다.
• 고속 레이트 지점에서 고품질 코딩이 가능한 경우, 비록 영상의 움직임 콘텐츠가 다를지라도 QS를 적응시키는 것이 FR을 적응시키는 것보다 지각적으로 더 낫다.
• 제안된 QTV 및 QQV 모델은 최소 제곱 피팅을 통해 유도된 몇 가지 콘텐츠에 따라 달라지는 파rameter만을 사용해 주관적 데이터에 잘 맞는다.