[논문 리뷰] Spatiotemporal Entropy Model is All You Need for Learned Video Compression

Zhenhong Sun, Zhiyu Tan외 5명|arXiv (Cornell University)|2021. 04. 13.

Advanced Data Compression Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 통합 자동에코더와 시공간 엔트로피 모델을 사용하여 원시 영상 프레임을 직접 압축함으로써 운동 예측 모듈을 제거하는 운동 없음 영상 압축(MFVC) 프레임워크를 제안한다. 이 방법은 MS-SSIM 기준으로 최신 기술 수준(SOTA) 성능을 달성하며, 단일 모델 내에서 가변 비트레이트 제어를 가능하게 하여 복잡성과 오류 전파를 크게 감소시키면서도 높은 압축 효율을 유지한다.

ABSTRACT

The framework of dominant learned video compression methods is usually composed of motion prediction modules as well as motion vector and residual image compression modules, suffering from its complex structure and error propagation problem. Approaches have been proposed to reduce the complexity by replacing motion prediction modules with implicit flow networks. Error propagation aware training strategy is also proposed to alleviate incremental reconstruction errors from previously decoded frames. Although these methods have brought some improvement, little attention has been paid to the framework itself. Inspired by the success of learned image compression through simplifying the framework with a single deep neural network, it is natural to expect a better performance in video compression via a simple yet appropriate framework. Therefore, we propose a framework to directly compress raw-pixel frames (rather than residual images), where no extra motion prediction module is required. Instead, an entropy model is used to estimate the spatiotemporal redundancy in a latent space rather than pixel level, which significantly reduces the complexity of the framework. Specifically, the whole framework is a compression module, consisting of a unified auto-encoder which produces identically distributed latents for all frames, and a spatiotemporal entropy estimation model to minimize the entropy of these latents. Experiments showed that the proposed method outperforms state-of-the-art (SOTA) performance under the metric of multiscale structural similarity (MS-SSIM) and achieves competitive results under the metric of PSNR.

연구 동기 및 목표

• 운동 예측 모듈에 의존하는 기존 학습 기반 영상 압축 프레임워크에서 발생하는 본질적 복잡성과 오류 전파 문제를 해결하기 위해.
• 성공한 학습 기반 이미지 압축에 영감을 받은 간소화된 프레임워크가 영상 압축에서 경쟁력 있는 성능을 달성할 수 있는지 조사하기 위해.
• 잔차 또는 운동 벡터 압축 모듈 없이 원시 픽셀 프레임을 직접 인코딩하는 통합 압축 프레임워크를 개발하기 위해.
• 기존 방법에서 고정 비트레이트 압축의 한계를 극복하기 위해 단일 모델 내에서 가변 비트레이트 제어를 가능하게 하기 위해.
• 시공간 부재가 잠재 표현에서 공동 엔트로피 추정 메커니즘을 통해 효과적으로 모델링될 수 있는지 증명하기 위해.

제안 방법

• 모든 영상 프레임에 대해 동일한 분포를 가지는 잠재 표현을 생성하기 위해 단일 통합 자동에코더를 사용하여 운동 예측 및 잔차 압축을 회피한다.
• 시공간 엔트로피 모델을 도입하여 공동 하이퍼-프리엔코더-디코더, 공간 우선 모듈(SPM), 시간 우선 모듈(TPM)을 조합하여 정확한 엔트로피 추정을 수행한다.
• SPM은 이웃하는 잠재 특징을 활용하여 각 프레임 내의 공간 부재를 모델링하고, TPM은 잠재 공간에서 인접한 프레임 간의 시간 상관관계를 활용한다.
• 시공간 엔트로피 모델이 예측한 확률을 기반으로 산술 부호화를 사용하여 양자화된 잠재 표현을 압축하여 효율적인 압축을 구현한다.
• 모델은 MSE 손실을 사용하여 엔드 투 엔드로 학습되며, 엔트로피 모델은 잠재 표현의 엔트로피를 최소화하도록 최적화되어 비트레이트를 감소시킨다.
• 디코딩은 각 프레임별로 독립적으로 수행되어 재구성된 기준 프레임에 대한 의존성을 제거하고 오류 전파를 방지한다.

실험 결과

연구 질문

• RQ1 학습 기반 영상 압축 프레임워크가 운동 예측 모듈 없이도 SOTA 성능을 달성할 수 있는가?
• RQ2 통합 자동에코더와 시공간 엔트로피 모델이 영상 시퀀스의 공간적 및 시간적 부재를 효과적으로 모델링할 수 있는가?
• RQ3 운동 예측 및 잔차 압축을 제거함으로써 복잡성과 오류 전파가 감소하고 압축 효율성이 유지되거나 향상되는가?
• RQ4 이 프레임워크를 사용하여 단일 학습 기반 영상 압축 모델 내에서 가변 비트레이트 제어를 달성할 수 있는가?
• RQ5 공간 및 시간 우선 모듈이 엔트로피 추정 정확도와 비트 절감에 개별적으로 및 함께 기여하는 방식은 어떠한가?

주요 결과

• 제안된 MFVC 프레임워크는 UVG 데이터셋에서 MS-SSIM 기준으로 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법을 초월한다.
• I-프레임 압축(GOP 크기 1) 대비 37.71%의 비트 절감을 기록했으며, SPM과 TPM을 모두 사용할 경우 35.15%의 비트 감소를 달성했다.
• 시간 우선 모듈(TPM)이 가장 큰 기여를 하여 기준 대비 16.39%의 비트 감소를 이끌었다.
• 공간 우선 모듈(SPM)은 6.95%의 비트 절감을 기여했으며, 윤곽선과 배경 영역의 엔트로피 감소에 특히 효과적이었다.
• DVC 및 HLVC 대비 인코딩 시간은 3–4배 감소하고 디코딩 시간은 30% 감소했으며, 채널 용량이 더 높은 상황에서도 성능을 유지했다.
• 이 프레임워크는 학습 기반 영상 압축에서 처음으로 단일 모델 내에서 가변 비트레이트 제어를 가능하게 하여 비트레이트-왜곡 트레이드오프의 유연성을 입증했다.