[논문 리뷰] Rate Model for Compressed Video Considering Impacts Of Spatial, Temporal and Amplitude Resolutions and Its Applications for Video Coding and Adaptation

Zhan Ma, Hao Hu외 2명|arXiv (Cornell University)|2012. 06. 12.

Video Coding and Compression Technologies참고 문헌 8인용 수 5

한 줄 요약

이 논문은 압축 비디오의 비트레이트에 대한 공간 해상도, 시간 해상도, 진폭 해상도(量子화)의 영향을 세 개의 거듭제곱 함수의 곱으로 함께 모델링하는 새로운 분석적 비트레이트 모델을 제안한다. 이 모델은 다양한 코딩 환경에서 높은 정확도(평균 피어슨 상관계수 >0.99)를 달성하며, 콘텐츠 기반 파rameter 예측을 통해 비디오 인코딩 및 스케일러블 비디오 적응에서 최적의 비트레이트-품질 트레이드오프를 가능하게 한다.

ABSTRACT

In this paper, we investigate the impacts of spatial, temporal and amplitude resolution (STAR) on the bit rate of a compressed video. We propose an analytical rate model in terms of the quantization stepsize, frame size and frame rate. Experimental results reveal that the increase of the video rate as the individual resolution increases follows a power function. Hence, the proposed model expresses the rate as the product of power functions of the quantization stepsize, frame size and frame rate, respectively. The proposed rate model is analytically tractable, requiring only four content dependent parameters. We also propose methods for predicting the model parameters from content features that can be computed from original video. Simulation results show that model predicted rates fit the measured data very well with high Pearson correlation (PC) and small relative root mean square error (RRMSE). The same model function works for different coding scenarios (including scalable and non-scalable video, temporal prediction using either hierarchical B or IPPP structure, etc.) with very high accuracy (average PC $>$ 0.99), but the values of model parameters differ. Using the proposed rate model and the quality model introduced in a separate work, we show how to optimize the STAR for a given rate constraint, which is important for both encoder rate control and scalable video adaptation. Furthermore, we demonstrate how to order the spatial, temporal and amplitude layers of a scalable video in a rate-quality optimized way.

연구 동기 및 목표

• 압축 비디오 비트레이트에 대한 공간 해상도, 시간 해상도, 진폭 해상도의 공동 영향을 포괄하는 통합 분석적 비트레이트 모델을 개발하는 것.
• 비디오 인코딩 및 스케일러블 비디오 적응에서 정확한 비트레이트 제어 및 품질 최적화를 가능하게 하는 것.
• 오프라인 학습 없이 콘텐츠 특징에서 효율적으로 모델 파rameter를 예측할 수 있도록 하는 것.
• 스케일러블 비디오 코딩에서 비트레이트-품질 최적화된 레이어 순서를 지원하는 것.

제안 방법

• 비트레이트 모델은 프레임 크기(공간 해상도), 프레임 속도(시간 해상도), 양자화 단위 크기(진폭 해상도)의 세 거듭제곱 함수의 곱으로 표현된다.
• 모델는 각 해상도 파rameter에 대해 비트레이트 증가가 거듭제곱 법칙을 따르는 실험 데이터에서 유도된다.
• 최대 비트레이트와 각 해상도 차원에 대한 세 개의 지수를 포함한 네 개의 콘텐츠 의존 파ram터를 사용하여 모델을 피팅한다.
• 모델 파ram터는 원본 비디오에서 추출한 세 가지 콘텐츠 특징(예: 활동성, 복잡성, 운동)의 가중 평균을 사용하여 예측한다.
• 스케일러블 비디오 스트림의 비트레이트-품질 최적화된 레이어 시퀀스를 생성하기 위해 정방향 및 역방향 레이어 순서 알고리즘을 제안한다.
• 모델은 다양한 코딩 구조(예: 계층적 B, IPPP, 스케일러블 대 비스케일러블) 및 비디오 시퀀스를 통해 검증된다.

실험 결과

연구 질문

• RQ1 공간 해상도, 시간 해상도, 진폭 해상도는 압축 비디오의 비트레이트에 어떻게 공동으로 영향을 미치는가?
• RQ2 단일 분석적 비트레이트 모델이 다양한 비디오 코딩 구성에서 비트레이트를 정확하게 기술할 수 있는가?
• RQ3 오프라인 학습 없이 콘텐츠 특징에서 모델 파ram터를 예측할 수 있는가?
• RQ4 제안된 비트레이트 모델을 고정된 비트레이트 제약 조건 하에서 비디오 품질을 최적화하는 데 어떻게 활용할 수 있는가?
• RQ5 주어진 비트레이트에서 품질을 극대화하기 위해 스케일러블 비디오 스트림의 레이어를 어떻게 순서대로 배치해야 하는가?

주요 결과

• 제안된 비트레이트 모델은 모든 테스트 비디오 시퀀스 및 코딩 구성에서 예측된 비트레이트와 측정된 비트레이트 간 평균 피어슨 상관계수 >0.99를 달성한다.
• 스케일러블 비디오와 비스케일러블 비디오, 다양한 시간 예측 기법을 포함한 다양한 코딩 구조에서 모델은 높은 정확도(평균 RRMSE가 작음)를 유지한다.
• 원본 비디오에서 추출한 단지 세 가지 콘텐츠 특징만으로도 모델 파ram터를 높은 정확도(평균 PC >0.99)로 예측할 수 있다.
• 역방향 레이어 순서 알고리즘은 정방향 방법보다 더 균일하게 분포된 비트레이트-품질 포인트를 생성하여 적응 유연성을 향상시킨다.
• 제안된 비트레이트 모델을 품질 모델과 통합함으로써, 고정된 비트레이트 제약 조건 하에서 시각적 품질을 극대화하기 위한 공간 해상도, 시간 해상도, 진폭 해상도의 분석적 최적화가 가능해진다.
• 모델는 일반화 가능하며, 테스트 시퀀스 외의 다양한 해상도(예: 720p, WVGA) 및 비디오 콘텐츠에 대해서도 검증되었다.