[논문 리뷰] Improving Low Bit-Rate Video Coding using Spatio-Temporal Down-Scaling

Yehuda Dar, Alfred M. Bruckstein⋆|arXiv (Cornell University)|2014. 04. 15.

Video Coding and Compression Technologies참고 문헌 19인용 수 6

한 줄 요약

이 논문은 블록성과 왜곡을 줄이기 위해 저비트레이트 영상 인코딩을 향상시키기 위해 시공간적 다운스케일링 기법을 제안한다. H.264 압축 전에 영상을 시공간적으로 다운스케일링하고 복원 후에 업스케일링함으로써 압축 코드크를 수정하지 않고도 블록당 비트 예산을 증가시키며, 두 번째 순서 통계 기반의 분석 모델을 사용하여 스케일링 인자를 최적화함으로써 저비트레이트에서 뚜렷한 품질 향상을 달성한다.

ABSTRACT

Good quality video coding for low bit-rate applications is important for transmission over narrow-bandwidth channels and for storage with limited memory capacity. In this work, we develop a previous analysis for image compression at low bit-rates to adapt it to video signals. Improving compression using down-scaling in the spatial and temporal dimensions is examined. We show, both theoretically and experimentally, that at low bit-rates, we benefit from applying spatio-temporal scaling. The proposed method includes down-scaling before the compression and a corresponding up-scaling afterwards, while the codec itself is left unmodified. We propose analytic models for low bit-rate compression and spatio-temporal scaling operations. Specifically, we use theoretic models of motion-compensated prediction of available and absent frames as in coding and frame-rate up-conversion (FRUC) applications, respectively. The proposed models are designed for multi-resolution analysis. In addition, we formulate a bit-allocation procedure and propose a method for estimating good down-scaling factors of a given video based on its second-order statistics and the given bit-budget. We validate our model with experimental results of H.264 compression.

연구 동기 및 목표

• 부족한 블록당 비트 예산으로 인한 저비트레이트 영상 인코딩에서 심한 블록성 아티팩트와 왜곡을 해결하기 위해.
• 시간적 스케일링과 운동 보정을 통합하여 이전의 이미지 다운스케일링 압축 기법을 영상에 확장하기 위해.
• 시공간 다운샘플링 영상 인코딩에서의 왜곡을 모델링하기 위한 이론적 프레임워크를 개발하기 위해.
• 영상 통계와 비트 예산에 기반하여 공간적 및 시간적 다운스케일링 인자를 최적화하는 비트 할당 절차를 수립하기 위해.
• H.264 압축을 사용하여 실험적으로 방법을 검증하고, 개선된 비트-왜곡 성능을 입증하기 위해.

제안 방법

• 압축 전에 영상에 공간적 및 시간적 다운스케일링을 적용하고 복원 후에 업스케일링을 수행함으로써 원래 코드크를 그대로 유지한다.
• 운동보정 예측 모델을 사용하여 간접 코딩 블록의 잔차 오차를 분석하며, 프레임 레이트 업컨버전을 특수 케이스로 간주한다.
• 변환 압축 영상에서의 왜곡을 모델링하기 위한 분석 모델을 개발하며, 다운스케일링과量子화 오차를 모두 포함한다.
• 운동보정 예측 잔차의 두 번째 순서 통계(자기상관)를 사용하여 왜곡을 추정하고 스케일링 인자 선택을 안내한다.
• 전체 기대 평균 제곱 오차(MSE)를 최소화함으로써 다운스케일링과 코딩 왜곡 사이의 균형을 이루는 비트 할당 절차를 제안한다.
• 계수 에너지와 양자화 노이즈를 포함한 양자화 후 잔차의 기대 평균 제곱 오차(MSE)에 대한 닫힌 형태의 수식을 유도한다.

실험 결과

연구 질문

• RQ1 시공간적 다운스케일링은 블록당 비트 예산을 증가시켜 저비트레이트 영상 인코딩에서의 왜곡을 줄일 수 있는가?
• RQ2 공간적 및 시간적 다운샘플링 인자가 함께 작용할 때, 다운스케일링과 코딩 왜곡 사이의 트레이드오프는 어떻게 영향을 받는가?
• RQ3 두 번째 순서 통계 기반의 이론적 모델이 주어진 영상과 비트 예산에 대해 최적의 다운스케일링 인자를 예측할 수 있는가?
• RQ4 운동보정은 다운샘플링된 영상 인코딩에서의 왜곡 모델에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 코드크를 수정하지 않고도 H.264 성능을 저비트레이트에서 얼마나 향상시킬 수 있는가?

주요 결과

• 시공간적 다운스케일링은 블록당 비트 예산을 증가시킴으로써 저비트레이트 영상 인코딩에서 블록성 아티팩트와 왜곡을 뚜렷이 감소시킨다.
• 특히 200 kbps 이하에서 표준 H.264에 비해 PSNR와 시각적 품질에서 측정 가능한 향상을 달성한다.
• 운동보정 잔차의 두 번째 순서 통계에서 유도된 최적의 다운스케일링 인자는 균일하거나 히우리스틱 스케일링보다 더 나은 비트-왜곡 성능을 제공한다.
• 이론적 모델은 다운스케일링과 양자화에서 유래한 왜곡 성분을 정확히 예측할 수 있으며, 효과적인 비트 할당을 가능하게 한다.
• 기존의 코드크(예: H.264)에 수정 없이 적용 가능하므로 실세계 구현에 실용적이다.
• 분석 결과, 운동보정 예측 잔차는 최적 스케일링을 추정하는 데 핵심 신호이며, 그 스펙트럼 특성이 직접적으로 다운스케일링 결정에 영향을 준다.