[논문 리뷰] Context-adaptive Entropy Model for End-to-end Optimized Image Compression

Jooyoung Lee, Seung-Hyun Cho외 1명|arXiv (Cornell University)|2018. 09. 27.

Advanced Data Compression Techniques인용 수 252

한 줄 요약

논문은 비트 소비형(bit-consuming)과 비트 프리(bit-free) 두 유형의 컨텍스트를 갖춘 맥락 적응 엔트로피 모델을 도입하여 엔드-투-엔드 최적화 이미지 압축을 개선하고, PSNR 및 MS-SSIM에서 BPG와 JPEG2000를 능가하는 최첨단 결과를 달성한다.

ABSTRACT

We propose a context-adaptive entropy model for use in end-to-end optimized image compression. Our model exploits two types of contexts, bit-consuming contexts and bit-free contexts, distinguished based upon whether additional bit allocation is required. Based on these contexts, we allow the model to more accurately estimate the distribution of each latent representation with a more generalized form of the approximation models, which accordingly leads to an enhanced compression performance. Based on the experimental results, the proposed method outperforms the traditional image codecs, such as BPG and JPEG2000, as well as other previous artificial-neural-network (ANN) based approaches, in terms of the peak signal-to-noise ratio (PSNR) and multi-scale structural similarity (MS-SSIM) index.

연구 동기 및 목표

• 률-왜곡 프레임워크 내에서 학습 가능한 엔트로피 모델을 활용한 엔드-투-엔드 이미지 압축을 고무한다.
• 두-context 엔트로피 모델(비트-소비형과 비트-프리형)을 제안하여 잠재 분포를 더 잘 추정한다.
• 전통적 코덱 및 이전 ANN 기반 방법 대비 압축 성능 향상을 입증한다.
• 맥락에서의 평균 및 분산 추정이 잠재 표현의 공간적 의존성을 어떻게 감소시키는지 분석한다.

제안 방법

• Ballé et al. (2018)의 엔트로피 모델을 확장하여 각 잠재 변수에 대한 가우시안 사전의 mu와 sigma를 추정하기 위해 두 가지 컨텍스트 유형을 도입한다.
• 네 가지 변환 자동인코더 프레임워크(g_a, g_s, h_a, h_s)와 mu_i 및 sigma_i를 생성하기 위해 연결된 컨텍스트를 입력으로 받는 분포 추정기 f를 사용한다.
• E' (비트-소비형)과 E'' (비트-프리형) 두 개의 컨텍스트 추출기를 통해 분포 추정기를 조건화하여 엔드-투-엔드로 rate와 distortion를 최적화한다.
• 훈련은 L = R + lambda D의 레이트-디스토션 목표로 수행하며, 훈련 중에는 이산 포스트-양자화 분포를 근사하기 위해 균일한 노이즈를 사용한다.
• 엔코더와 디코더 간에 엔트로피 모델 파라미터를 공유하고, 더 높은 비트레이트를 위한 경량 하이브리드 모델을 사용하여 성능과 비용의 균형을 맞춘다.
• MSE와 MS-SSIM 왜곡으로 평가하고, 여러 lambda 구성에서 PSNR과 MS-SSIM을 보고하며 BPG 및 JPEG2000과 비교한다.

실험 결과

연구 질문

• RQ1 이중 컨텍스트 유형을 갖춘 컨텍스트-적응 엔트로피 모델이 엔드-투-엔드 이미지 압축에서 잠재 분포 추정의 정확도를 향상시키는가?
• RQ2 비트-프리 및 비트-소비 컨텍스트로부터 mu와 sigma를 모두 추정하는 것이 잠재 표현의 공간적 의존성을 줄이고 레이트-디스토션 성능을 향상시키는가?
• RQ3 제안된 프레임워크가 PSNR 및 MS-SSIM에서 기존 코덱(BPG, JPEG2000) 및 기존의 ANN 기반 방법들과 어떻게 비교되는가?
• RQ4 레이트-디스토션 최적화를 위한 모델 용량과 컨텍스트 레벨의 실용적 트레이드오프는 무엇인가?

주요 결과

• 제안된 컨텍스트-적응 엔트로피 모델은 PSNR 및 MS-SSIM에서 BPG 및 JPEG2000을 능가한다.
• BD-rate 이득은 PSNR에 대해 JPEG2000, Ballé et al. (2018), 및 BPG 대비 각각 34.08%, 11.97%, 6.85%이다.
• BD-rate 이득은 MS-SSIM에 대해 JPEG2000, Ballé et al. (2018), 및 BPG 대비 각각 68.82%, 13.93%, 49.68%이다.
• 비트-프리 및 비트-소비 컨텍스트에서 mu와 sigma를 모두 추정하는 것이 잠재 표현의 공간적 의존성을 sigma만 추정하는 것보다 더 효과적으로 감소시킨다.
• 이 프레임워크는 ANN 기반 방법들 중에서 최첨단 성능을 달성하고 두 가지 주요 지표에서 전통적인 코덱을 능가한다.