[논문 리뷰] Optimization of the Block-level Bit Allocation in Perceptual Video Coding based on MINMAX

Chao Wang, Xuanqin Mou외 1명|arXiv (Cornell University)|2015. 11. 15.

Video Coding and Compression Technologies참고 문헌 38인용 수 3

한 줄 요약

이 논문은 감각적 비디오 코딩을 위한 매크로블록 수준의 비트 할당 방법을 제안하며, 블록 간 품질 변동을 최소화하기 위해 MINMAX 기준을 사용한다. 최대 왜곡 감소(MDD) 알고리즘을 통해 반복적으로 양자화 파rameter를 최적화하고, 감각 왜곡을 측정하기 위해 SSIM 지표를 사용함으로써, 계산 복잡도는 수용 가능하면서도 기준 시퀀스에서 상당한 비트 절감과 향상된 시각적 품질을 달성한다.

ABSTRACT

In video coding, it is expected that the encoder could adaptively select the encoding parameters (e.g., quantization parameter) to optimize the bit allocation to different sources under the given constraint. However, in hybrid video coding, the dependency between sources brings high complexity for the bit allocation optimization, especially in the block-level, and existing optimization methods mostly focus on frame-level bit allocation. In this paper, we propose a macroblock (MB) level bit allocation method based on the minimum maximum (MINMAX) criterion, which has acceptable encoding complexity for offline applications. An iterative-based algorithm, namely maximum distortion descend (MDD), is developed to reduce quality fluctuation among MBs within a frame, where the Structure SIMilarity (SSIM) index is used to measure the perceptual distortion of MBs. Our extensive experimental results on benchmark video sequences show that the proposed method can greatly enhance the encoding performance in terms of both bits saving and perceptual quality improvement.

연구 동기 및 목표

• 비디오 코딩 단위 간 상호의존성으로 인해 발생하는 블록 수준 비트 할당의 높은 복잡도 문제를 해결하기 위해.
• 비디오 인코딩 중 프레임 내 매크로블록 간 감각적 품질 변동을 줄이기 위해.
• 감각적 비디오 코딩에 적합한 저복잡도의 오프라인 최적화 비트 할당 전략을 개발하기 위해.
• 매크로블록 수준에서 비트 레이트와 감각적 품질을 균형 있게 조절하여 전체 인코딩 효율을 향상시키기 위해.
• 기존의 프레임 수준 비트 할당 방법을 더 세밀한 매크로블록 수준으로 확장하면서도 감각적 정밀도를 유지하기 위해.

제안 방법

• 모든 매크로블록에서 최대 왜곡을 최소화하기 위해 MINMAX 기준을 활용한다.
• 최대 왜곡 감소(MDD)라고 불리는 반복 알고리즘을 사용하여 매크로블록 간 양자화 파rameter를 조정함으로써 피크 왜곡을 감소시킨다.
• 구조적 유사도-SSIM 지표를 감각 왜곡 측정 지표로 채택하여 매크로블록 품질을 평가한다.
• 비트 할당을 프레임 수준이 아니라 매크로블록 수준에서 최적화함으로써 품질 분포에 대한 더 세밀한 제어가 가능해진다.
• 오프라인 비디오 인코딩 응용 프로그램에 대해 계산적으로 실현 가능한 최적화 과정을 설계한다.
• 전체 비트 예산 제약을 충족하면서도 최악의 경우 감각 왜곡을 최소화하기 위해 매크로블록 간 비트를 동적으로 재할당한다.

실험 결과

연구 질문

• RQ1 비디오 코딩에서 매크로블록 간 감각적 품질 변동을 최소화하기 위해 블록 수준 비트 할당을 어떻게 최적화할 수 있는가?
• RQ2 매크로블록 수준에서 MINMAX 기준을 사용할 경우 감각적 비디오 품질과 비트 레이트 효율성에 어떤 영향을 미치는가?
• RQ3 반복 최적화 알고리즘이 낮은 계산 복잡도를 유지하면서도 품질 변동을 줄일 수 있는가?
• RQ4 블록 수준 비트 할당에서 전통적 지표와 비교해 SSIM을 감각 왜곡 측정 지표로 사용할 경우 어떤 차이가 있는가?
• RQ5 이 매크로블록 수준 접근법을 통해 시각적 품질을 손상시키지 않고 비트 절감을 얼마나 달성할 수 있는가?

주요 결과

• 제안된 방법은 프레임 전체에서 최대 SSIM 왜곡을 최소화함으로써 매크로블록 간 품질 변동을 상당히 줄였다.
• 기준 비디오 시퀀스에서 실시한 광범위한 실험을 통해 품질을 유지하거나 향상시키면서도 상당한 비트 절감 효과를 입증했다.
• SSIM 및 주관적 평가를 통해 전통적인 프레임 수준 비트 할당 기법에 비해 더 뛰어난 감각적 품질을 달성했다.
• 오프라인 응용 프로그램에 적합한 수준의 인코딩 복잡도를 유지하여 고품질 비디오 인코딩에 실용적인 접근법이 되었다.
• MDD 알고리즘은 최소한의 왜곡 변동으로 근사 최적의 비트 할당 솔루션에 효과적으로 수렴했다.
• 결과적으로 매크로블록 수준 최적화가 전체 비디오 프레임에 걸쳐 더 일관된 시각적 품질을 제공한다는 것이 입증되었다.