[논문 리뷰] Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding

Gergely Flamich, Marton Havasi외 1명|arXiv (Cornell University)|2020. 10. 02.

Generative Adversarial Networks and Image Synthesis인용 수 18

한 줄 요약

이 논문은 변동형 오토인코더(VAEs)의 잠재 표현을 색인 기반 중요도 샘플링을 사용해 직접 인코딩하는 새로운 손실 없는 및 손실 압축 방법인 상대 엔트로피 인코딩(REC)을 제안한다. 이는 사후분포와 사전분포 사이의 상대 엔트로피에 가까운 코드길이를 달성한다. 기존의 비트백(Bit-back) 방법과 달리 REC는 보조 비트를 제거하고, 단일 이미지에서 효율적으로 작동하며, 양자화 없이 연속 잠재 공간에서 작동하여 손실 없는 벤치마크에서 기존 방법을 능가하고, PSNR 및 MS-SSIM 지표에서 손실 압축 분야의 최신 기술 수준에 맞추어진 성능을 달성한다.

ABSTRACT

Variational Autoencoders (VAEs) have seen widespread use in learned image compression. They are used to learn expressive latent representations on which downstream compression methods can operate with high efficiency. Recently proposed 'bits-back' methods can indirectly encode the latent representation of images with codelength close to the relative entropy between the latent posterior and the prior. However, due to the underlying algorithm, these methods can only be used for lossless compression, and they only achieve their nominal efficiency when compressing multiple images simultaneously; they are inefficient for compressing single images. As an alternative, we propose a novel method, Relative Entropy Coding (REC), that can directly encode the latent representation with codelength close to the relative entropy for single images, supported by our empirical results obtained on the Cifar10, ImageNet32 and Kodak datasets. Moreover, unlike previous bits-back methods, REC is immediately applicable to lossy compression, where it is competitive with the state-of-the-art on the Kodak dataset.

연구 동기 및 목표

• 단일 이미지 손실 압축을 위한 기존 비트백 방법의 비효율성을 해결하기 위해 보조 비트가 필요하고 고립된 이미지에서 성능이 저하되는 문제를 해결한다.
• 양자화 없이 VAE의 연속 잠재 표현을 직접 효율적으로 압축할 수 있도록 하여 훈련과 모델 확장성에 장애를 초래하는 것을 방지한다.
• 단일 이미지에 대해 사후분포와 사전분포 사이의 상대 엔트로피에 가까운 코드길이를 달성함으로써 고효율의 손실 없는 및 손실 압축을 가능하게 한다.
• REC가 연속 잠재 공간을 갖는 상용 VAE에 적용될 수 있으며, 비가역적 양자화 단계가 필요 없도록 한다.

제안 방법

• REC는 공유 시드를 사용하는 의사난수 생성기를 통해 생성된 공유 시퀀스 z₁, z₂, ..., zₙ ~ p(z)에서 잠재 샘플 z ~ q(z|x)의 색인 i를 사용하여 인코딩한다.
• 색인 i의 코드길이는 중요도 샘플링을 활용하여 상대 엔트로피 KL[q(z|x) || p(z)]를 근사한다. 여기서 색인 i를 선택할 확률은 사후밀도 q(zᵢ|x)에 비례한다.
• 수신자는 동일한 공유 난수 시퀀스를 사용해 i번째 사전 샘플을 재구성함으로써 z를 복원하며, 추가 전송 없이 정확한 디코딩을 보장한다.
• 잔차는 엔트로피 인코딩(예: 산술 인코딩)을 사용해 별도로 인코딩되며, 코드길이는 -log P(x|z)에 해당하여 기대값에서 음의 ELBO에 가까운 총 코드길이를 얻는다.
• 이 방법은 인덱스 인코딩(iREC)으로 구현되며, 고정 크기의 버퍼에 사전 샘플을 유지하고 사후밀도에 기반해 가장 가능성 높은 zᵢ를 동적으로 선택한다.
• iREC는 연속 잠재 변수를 직접 다루므로 양자화를 피하고, 비가역성 문제 없이 VAE의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 보조 비트가 필요 없이 단일 이미지에 대해 사후분포와 사전분포 사이의 상대 엔트로피에 가까운 코드길이를 달성할 수 있는 손실 압축 방법이 존재할 수 있는가?
• RQ2 훈련 중 비가역적 양자화 단계를 도입하지 않고도 연속 잠재 공간을 이미지 압축에 사용할 수 있는가?
• RQ3 REC는 손실 압축으로 확장되어 최신 기술 수준의 학습된 압축 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 REC에서 보조 비트가 없는 것이 기존 비트백 방법에 비해 단일 이미지의 압축 효율성에 뚜렷한 향상을 이끌 수 있는가?

주요 결과

• iREC는 보조 비트가 필요 없이 기존 비트백 방법보다 단일 이미지 벤치마크에서 뚜렷한 성능 향상을 보이며, 이로 인해 보조 비트의 필요성을 제거한다.
• Cifar10, ImageNet32, Kodak 데이터셋에서 iREC는 상대 엔트로피로 주어진 이론적 하한에 매우 가까운 코드길이를 달성하며, 보조 오버헤드가 없다.
• 손실 압축에서는 PSNR 및 MS-SSIM 지표에서 최신 기술 수준의 학습된 압축 방법과 동등하거나 이를 초월하며, 특히 Kodak 데이터셋에서 뛰어난 성능을 보였다.
• 이 방법은 양자화 없이 연속 잠재 공간에서 직접 작동하므로, 비가역성 문제 없이 VAE 훈련이 가능해져 모델 확장성 향상에 기여한다.
• iREC는 VAE가 정규화되거나 불필요한 잠재 차원을 가질 경우에도 높은 효율성을 유지한다. 코드길이는 차원 수에 따라 달라지지 않고 상대 엔트로피에만 의존하기 때문이다.
• 압축 속도는 현재의 한계점이지만, 저자들은 향후 최적화의 대상으로 언급하고 있다.