[논문 리뷰] Learned Image Compression with Gaussian-Laplacian-Logistic Mixture Model and Concatenated Residual Modules

Haisheng Fu, Feng Liang외 8명|arXiv (Cornell University)|2021. 07. 14.

Advanced Data Compression Techniques인용 수 14

한 줄 요약

이 논문은 학습된 이미지 압축에서 엔트로피 모델링을 위한 새로운 가우시안-라플라스-로지스틱 혼합 모델(GLLMM)과 연결된 잔차 블록(CRB) 아키텍처를 제안한다. 다양한 이미지 콘텐츠를 더 정확하게 모델링하기 위해 다수의 분포를 조합하고, 스택된 잔차 블록과 단순 연결을 통해 특징 학습을 향상시킴으로써, Kodak, Tecnick-100, Tecnick-40 데이터셋에서 기존의 VVC 및 학습 기반 방법들을 능가하는 PSNR 및 MS-SSIM 성능을 달성한다.

ABSTRACT

Recently deep learning-based image compression methods have achieved significant achievements and gradually outperformed traditional approaches including the latest standard Versatile Video Coding (VVC) in both PSNR and MS-SSIM metrics. Two key components of learned image compression are the entropy model of the latent representations and the encoding/decoding network architectures. Various models have been proposed, such as autoregressive, softmax, logistic mixture, Gaussian mixture, and Laplacian. Existing schemes only use one of these models. However, due to the vast diversity of images, it is not optimal to use one model for all images, even different regions within one image. In this paper, we propose a more flexible discretized Gaussian-Laplacian-Logistic mixture model (GLLMM) for the latent representations, which can adapt to different contents in different images and different regions of one image more accurately and efficiently, given the same complexity. Besides, in the encoding/decoding network design part, we propose a concatenated residual blocks (CRB), where multiple residual blocks are serially connected with additional shortcut connections. The CRB can improve the learning ability of the network, which can further improve the compression performance. Experimental results using the Kodak, Tecnick-100 and Tecnick-40 datasets show that the proposed scheme outperforms all the leading learning-based methods and existing compression standards including VVC intra coding (4:4:4 and 4:2:0) in terms of the PSNR and MS-SSIM. The source code is available at \url{https://github.com/fengyurenpingsheng}

연구 동기 및 목표

• 다양한 이미지 콘텐츠에 걸쳐 단일 확률 분포를 사용하는 엔트로피 모델링의 한계를 해결하기 위해.
• 새로운 블록 아키텍처를 통해 잔차 학습을 향상시켜 압축 네트워크의 표현 능력을 향상시키기 위해.
• 기존의 학습 기반 압축 방법과 VVC 표준을 능가하는 더 나은 레이트-왜곡 성능를 달성하기 위해.
• 고도로 발전된 모델링과 네트워크 설계를 통해 잠재 표현 내 잔차 상관관계를 감소시키기 위해.
• 제안된 구성 요소들이 독립적으로 및 조합적으로 표준 벤치마크에서 효과를 보이는지 평가하기 위해.

제안 방법

• 잠재 표현을 더 민첩하고 정확하게 모델링하기 위해 세 가지 분포를 조합한 이산화된 가우시안-라플라스-로지스틱 혼합 모델(GLLMM)을 도입한다.
• 여러 개의 잔차 블록을 스택하고 추가적인 스킵 연결을 통합하여 특징 학습과 기울기 흐름을 향상시키는 연결 잔차 블록(CRB)을 설계한다.
• 피크 신호 대 잡음비와 구조 유사성을 균형 있게 유지하기 위해 MSE와 MS-SSIM을 조합한 하이브리드 손실 함수를 사용한다.
• 잠재 특징 내 공간 상관관계를 추가로 감소시키기 위해 자동회귀적 문맥 모델을 적용하여 엔트로피 코딩 효율성을 향상시킨다.
• 성능 향상을 평가하기 위해 이전 연구에서 제안한 후처리 모듈을 적용하지만, 제안된 방법은 본질적인 향상 덕분에 이 모듈의 기여가 미미하다.
• 성능와 계산 비용 간의 균형을 맞추기 위해 모델 복잡도를 최적화하며, 주의 메커니즘과 문맥 모델링 구성 요소에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 가우시안, 라플라스, 로지스틱 분포의 혼합 모델이 단일 분포 모델보다 잠재 특징의 통계 분포를 더 잘 모델링할 수 있는가?
• RQ2 추가적인 스킵 연결을 갖춘 다수의 잔차 블록을 스택하는 방식(CRB)이 네트워크의 학습 능력과 압축 성능을 향상시키는가?
• RQ3 제안된 GLLMM 및 CRB 아키텍처는 VVC 및 다른 최신 학습 기반 압축 방법과 비교해 PSNR 및 MS-SSIM 측면에서 어떻게 성능을 내는가?
• RQ4 자동회귀적 문맥 모델과 후처리 모듈이 최종 압축 성능에 미치는 영향은 무엇인가?
• RQ5 외부 후처리에 의존하지 않고도 제안된 방법이 뛰어난 성능을 달성할 수 있는가? 이는 본질적인 강건성과 효율성을 시사한다.

주요 결과

• Kodak 데이터셋에서 0.1556 bpp에서 29.63 dB의 PSNR를 기록하여, VVC(4:4:4) 및 모든 이전 학습 기반 방법들을 능가한다.
• Tecnick-100 데이터셋에서 0.4408 bpp에서 33.97 dB의 PSNR를 기록하여 레이트-왜곡 성능에서 뛰어난 성능을 보였다.
• GLLMM 모델은 잠재 특징 내 공간적 및 채널 간 상관관계를 더 잘 포착함으로써 엔트로피 코딩의 부족함을 감소시켰다.
• CRB 아키텍처는 특징 표현 학습을 향상시켜 기준 잔차 네트워크 대비 PSNR에서 0.2–0.3 dB의 향상을 이끌었다.
• 이전 연구에서 제안한 후처리 모듈([24])은 PSNR에서 0.02 dB의 미미한 향상만을 제공하여, 제안된 방법이 이미 높은 내재적 성능을 달성하고 있음을 시사한다.
• VVC보다 디코딩 속도가 느리지만, 몇몇 이전의 학습 기반 방법보다는 빠르며, 대부분의 SOTA 모델보다 더 작은 모델 크기를 가진다.