[논문 리뷰] Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation

Ze Cui, Jing Wang외 4명|arXiv (Cornell University)|2020. 03. 04.

Advanced Data Compression Techniques인용 수 9

한 줄 요약

이 논문은 손실된 이미지 압축 프레임워크인 AG-VAE를 제안하며, 게인 유닛과 지수 보간을 사용하여 단일 모델 내에서 연속적인 비트레이트 적응을 가능하게 하고, 최소한의 계산 오버헤드로 최신 기술 수준(SOTA)의 비트레이트-왜곡 성능을 달성한다. 이 방법은 비대칭 정규 분포 엔트로피 모델을 도입하여 엔트로피 추정을 향상시켜, PSNR 및 MS-SSIM 측면에서 대칭 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

With the development of deep learning techniques, the combination of deep learning with image compression has drawn lots of attention. Recently, learned image compression methods had exceeded their classical counterparts in terms of rate-distortion performance. However, continuous rate adaptation remains an open question. Some learned image compression methods use multiple networks for multiple rates, while others use one single model at the expense of computational complexity increase and performance degradation. In this paper, we propose a continuously rate adjustable learned image compression framework, Asymmetric Gained Variational Autoencoder (AG-VAE). AG-VAE utilizes a pair of gain units to achieve discrete rate adaptation in one single model with a negligible additional computation. Then, by using exponential interpolation, continuous rate adaptation is achieved without compromising performance. Besides, we propose the asymmetric Gaussian entropy model for more accurate entropy estimation. Exhaustive experiments show that our method achieves comparable quantitative performance with SOTA learned image compression methods and better qualitative performance than classical image codecs. In the ablation study, we confirm the usefulness and superiority of gain units and the asymmetric Gaussian entropy model.

연구 동기 및 목표

• 학습된 이미지 압축에서 연속적인 비트레이트 적응을 달성하면서 계산 비용을 증가시키거나 성능을 떨어뜨리지 않도록 하는 도전 과제를 해결한다.
• 다양한 고정 비트레이트 모델의 한계를 극복하여, 훈련 비용과 메모리 사용량을 증가시키지 않는다.
• 다양한 VAE 기반 아키텍처와 호환되는 플러그 앤 플레이 솔루션을 개발한다.
• 비대칭 잠재 분포를 위한 더 정확한 엔트로피 추정을 위해 비대칭 정규 모델을 사용한다.
• 추가 훈련이나 모듈 없이도 연속적인 비트레이트 범위에서 원활한 비트레이트 제어를 가능하게 한다.

제안 방법

• 채널별 곱셈을 통해 잠재 표현을 재스케일링하는 게인 유닛을 도입하여, 계산 비용이 거의 들지 않는 이산적 비트레이트 적응을 가능하게 한다.
• 재구성 품질을 유지하고 성능 저하를 방지하기 위해 디코더 이전에 역게인 유닛을 적용한다.
• 임의의 비트레이트 범위에서 연속적인 게인 벡터를 생성하기 위해 지수 보간 공식을 유도하여, 재학습 없이도 부드러운 비트레이트 제어를 가능하게 한다.
• 비정규 분포이거나 비대칭적인 잠재 분포에 대해 더 나은 엔트로피 추정을 하기 위해 비대칭 정규 엔트로피 모델을 제안한다.
• 기존의 VAE 기반 프레임워크(예: Ballé 등 [7], Minnen 등 [20])에 게인 유닛을 통합하여 일반화 능력과 성능을 검증한다.
• 하이퍼프리어 기반 엔트로피 모델링을 사용하고, HCVR 방법을 통해 유연한 하이퍼프리어 비트레이트 제어를 구현하여 엔트로피 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 학습된 이미지 압축 모델이 성능 저하 없이 추가 훈련 없이 연속적인 비트레이트 적응을 달성할 수 있는가?
• RQ2 게인 유닛 메커니즘이 계산 비용을 최소화하면서도 이산적 및 연속적 비트레이트 적응을 얼마나 효과적으로 가능하게 하는가?
• RQ3 비대칭 정규 엔트로피 모델이 대칭 모델 대비 비트레이트-왜곡 성능을 향상시키는가?
• RQ4 제안된 프레임워크가 다양한 비트레이트 범위에서 다수의 고정 비트레이트 모델의 성능을 유지하거나 초월할 수 있는가?
• RQ5 지수 보간은 재구성 정밀도를 유지하면서 어떻게 연속적인 비트레이트 제어를 가능하게 하는가?

주요 결과

• AG-VAE 프레임워크는 최신 기술 수준의 학습된 이미지 압축 방법과 유사한 비트레이트-왜곡 성능을 달성하며, PSNR 및 MS-SSIM 결과가 다수의 고정 비트레이트 모델과 동등하다.
• 지수 보간은 추가 훈련 없이도 전체 비트레이트 범위에서 연속적인 비트레이트 적응을 가능하게 한다.
• 비대칭 정규 엔트로피 모델은 압축 성능을 향상시키며, 테스트 범위 전반에서 AG-VAE가 대칭 버전인 SG-VAE보다 PSNR 및 MS-SSIM 측면에서 뛰어난 성능을 발휘한다.
• 유연한 하이퍼프리어 비트레이트 제어를 가능하게 하는 HCVR 방법은 모든 비트레이트에서 CVR 방법보다 略적으로 더 나은 R-D 성능을 제공한다.
• 게인 유닛 메커니즘은 높은 일반화 능력을 보이며, Ballé 등 [7] 및 Minnen 등 [20]의 백본 아키텍처에 통합되었을 때도 효과적으로 연속적인 비트레이트 적응을 가능하게 한다.
• 제거 실험 결과, 게인 유닛과 비대칭 정규 모델이 최적 성능을 내기 위해 필수적임을 확인하였으며, 시각적 품질과 R-D 효율성에서 뚜렷한 향상이 있었다.