[논문 리뷰] A Cross Channel Context Model for Latents in Deep Image Compression

Changyue Ma, Wang Zhao외 2명|arXiv (Cornell University)|2021. 03. 04.

Advanced Data Compression Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 깊이 있는 이미지 압축을 향상시키기 위해 잠재 채널을 그룹화하고 이전에 인코딩된 그룹을 사용해 현재 그룹의 인코딩에 대한 맥락을 제공하는 교차 채널 맥락 모델을 제안한다. 이는 공간적 2D 컨볼루션을 초월해 상관관계 모델링을 크게 향상시킨다. PSNR 기준으로 Kodak 및 CVPR CLIC2020 데이터셋에서 기준 모델 대비 각각 6.30% 및 6.31%의 BD-rate 감소를 달성했으며, VVC 대비 각각 2.50% 및 2.20% 감소를 기록했고, MS-SSIM 최적화 시 시각적 품질도 향상되었다.

ABSTRACT

This paper presents a cross channel context model for latents in deep image compression. Generally, deep image compression is based on an autoencoder framework, which transforms the original image to latents at the encoder and recovers the reconstructed image from the quantized latents at the decoder. The transform is usually combined with an entropy model, which estimates the probability distribution of the quantized latents for arithmetic coding. Currently, joint autoregressive and hierarchical prior entropy models are widely adopted to capture both the global contexts from the hyper latents and the local contexts from the quantized latent elements. For the local contexts, the widely adopted 2D mask convolution can only capture the spatial context. However, we observe that there are strong correlations between different channels in the latents. To utilize the cross channel correlations, we propose to divide the latents into several groups according to channel index and code the groups one by one, where previously coded groups are utilized to provide cross channel context for the current group. The proposed cross channel context model is combined with the joint autoregressive and hierarchical prior entropy model. Experimental results show that, using PSNR as the distortion metric, the combined model achieves BD-rate reductions of 6.30% and 6.31% over the baseline entropy model, and 2.50% and 2.20% over the latest video coding standard Versatile Video Coding (VVC) for the Kodak and CVPR CLIC2020 professional dataset, respectively. In addition, when optimized for the MS-SSIM metric, our approach generates visually more pleasant reconstructed images.

연구 동기 및 목표

• 딥 이미지 압축의 잠재 표현에서 상호 채널 상관관계가 부족하게 활용되고 있는 문제를 해결하기 위해.
• 2D 마스크 컨볼루션으로부터의 공간 맥락을 초월해 교차 채널 의존성을 포착함으로써 엔트로피 모델링을 향상시키기 위해.
• 기존의 공동 자동회귀 및 계층적 사전 모델과 교차 채널 맥락을 통합하여 압축 효율을 향상시키기 위해.
• PSNR 및 MS-SSIM 메트릭 모두에서 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• MS-SSIM 기반 최적화를 통해 더 시각적으로 우수한 재구성 이미지를 생성하기 위해.

제안 방법

• 잠재 특징은 채널 인덱스 기반으로 그룹화되고 순차적으로 인코딩되어 교차 채널 맥락 모델링이 가능하도록 한다.
• 각 그룹에 대해 이전에 인코딩된 그룹이 학습된 자동회귀 모델을 통해 맥락을 제공함으로써 장거리 상호 채널 의존성을 모델링할 수 있다.
• 교차 채널 맥락은 2D 마스크 컨볼루션을 통한 국소적 공간 맥락과 결합되어 하이브리드 맥락 모델을 형성한다.
• 모델은 CompressAI 프레임워크 내의 cheng2020-attn 아키텍처에 통합되어 엔드 투 엔드 학습 및 평가가 가능하도록 한다.
• 의미 있는 교차 채널 상관관계를 포착하는 데 한계가 있는 3D 마스크 컨볼루션 기준 모델과 비교한다.
• 각 그룹의 엔트로피 모델이 이전 모든 그룹에 의존하는 순차적, 그룹 기반 자동회귀 구조를 사용한다.

실험 결과

연구 질문

• RQ1 딥 이미지 압축 잠재 표현에서 공간 맥락을 초월해 상호 채널 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 교차 채널 맥락을 갖춘 순차적 그룹 기반 인코딩이 표준 2D 또는 3D 마스크 컨볼루션 대비 압축 효율을 향상시키는가?
• RQ3 PSNR 기준으로 최신 영상 압축 표준인 VVC를 초월해 제안된 모델이 BD-rate를 향상시킬 수 있는가?
• RQ4 제안된 모델을 사용해 MS-SSIM 기반 최적화를 수행하면 더 시각적으로 매력적인 재구성 이미지를 얻을 수 있는가?
• RQ5 제안된 모델의 복잡도는 기준 모델 및 3D 컨볼루션 기준 모델 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 PSNR 기준으로 Kodak 데이터셋에서 기준 엔트로피 모델 대비 6.30%의 BD-rate 감소를 달성했다.
• CVPR CLIC2020 전문가 데이터셋에서 PSNR 기준으로 기준 모델 대비 6.31%의 BD-rate 감소를 기록했다.
• Kodak 및 CVPR CLIC2020 데이터셋에서 각각 VVC 대비 2.50% 및 2.20%의 BD-rate 감소를 기록했다. (PSNR 기준)
• MS-SSIM 최적화 시, 특히 질감 유지 및 잡음 감소 측면에서 더 시각적으로 매력적인 재구성 이미지를 생성했다.
• 주관적 평가에서 JPEG, JPEG2000, BPG 및 VVC 대비 복잡한 질감(예: 골드 볼, 구름)에서 뛰어난 세부 사항 보존 성능을 보였다.
• 기준 모델 대비 인코딩 시간은 2.45배, 디코딩 시간은 3.77배 증가했고, 모델 크기는 1.35배 증가했다.