[논문 리뷰] Improving Inference for Neural Image Compression

Yibo Yang, Robert Bamler외 1명|arXiv (Cornell University)|2020. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 46

한 줄 요약

본 논문은 VAE 기반 신경 이미지 압축에서 세 가지 근사 격차를 식별하고, 세 가지 대응하는 추론 개선책을 제시한다 — 하이브리드 어모르타이즈드-이터레이티브 추론, Stochastic Gumbel Annealing(SGA) for discretization, 그리고 lossy bits-back coding — 최신 연구 성과를 달성한다.

ABSTRACT

We consider the problem of lossy image compression with deep latent variable models. State-of-the-art methods build on hierarchical variational autoencoders (VAEs) and learn inference networks to predict a compressible latent representation of each data point. Drawing on the variational inference perspective on compression, we identify three approximation gaps which limit performance in the conventional approach: an amortization gap, a discretization gap, and a marginalization gap. We propose remedies for each of these three limitations based on ideas related to iterative inference, stochastic annealing for discrete optimization, and bits-back coding, resulting in the first application of bits-back coding to lossy compression. In our experiments, which include extensive baseline comparisons and ablation studies, we achieve new state-of-the-art performance on lossy image compression using an established VAE architecture, by changing only the inference method.

연구 동기 및 목표

• 신경 손실 이미지 압축을 위한 추론 개선 동기를 제시한다.
• 현 추론 접근 방식의 세 가지 근사 격차를 식별하고 형식화한다.
• 암묵화(암ortization), 이산화(discretization), 주변화(marginalization) 격차를 다루는 방법을 제안하고 검증한다.
• 표준 벤치마크에서 기준선 및 ablation 대비 성능 향상을 보여준다.

제안 방법

• 손실 이미지 압축을 위한 변분 자동인코더 프레임워크와 그 rate-distortion 목표를 분석한다.
• 압축 중 암ORTization 격차를 줄이기 위해 하이브리드 어모르타이즈드-이터레이티브 추론을 도입한다.
• 이산 표현을 직접 최적화하고 이산화 격차를 줄이기 위해 Stochastic Gumbel Annealing(SGA)을 개발한다.
• 두 단계 추론 절차와 디코더 측 재현 가능한 BBVI를 통해 손실 압축에 비트백 코딩을 확장하여 주변화 격차를 해결한다.

실험 결과

연구 질문

• RQ1 손실 이미지 압축에 사용될 때 전통적인 VAE의 주요 근사 격차는 무엇인가?
• RQ2 하이브리드 어모르타이즈드-이터레이티브 추론, SGA를 통한 이산 최적화, 손실 비트백 코딩이 이 격차를 함께 줄이고 압축 성능을 개선할 수 있는가?
• RQ3 이 방법들이 표준 이미지 압축 벤치마크에서 확립된 기준선과 비교해 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 추론 방법만 변경하여 확립된 VAE 아키텍처를 사용한 손실 이미지 압축에서 새로운 최신 성능을 달성한다.
• SGA는 이산화 격차를 좁히고 동일한 초기화에서 시험된 방법 중 가장 낮은 실제 rate-distortion 손실을 달성한다.
• 하이브리드 어모르타이즈드-이터레이티브 접근은 모델 재학습 없이 압축 시간 동안 변분 파라미터를 정교화하여 압축을 개선한다.
• 손실 비트백 코딩은 주변 정보를 활용해 주변화 격차를 줄이고 전반적인 rate-distortion 성능을 향상시킨다.
• 실험은 Kodak에서 15% BD-비율 절감 이상, Tecnick 데이터셋에서 20% 이상 등 유의미한 rate-distortion 개선을 보여준다.