[논문 리뷰] Lossy Image Compression with Normalizing Flows

Leonhard Helminger, Abdelaziz Djelouah외 2명|arXiv (Cornell University)|2020. 01. 01.

Advanced Data Compression Techniques인용 수 5

한 줄 요약

이 논문은 정규화 흐름을 사용하여 이미지에서 잠재 공간으로의 이항 사상(일대일 및 가역적)을 학습하는 새로운 딥 이미지 압축 프레임워크를 제안한다. 이는 저비트레이트에서 거의 손실 없는 수준까지 광범위한 비트레이트 범위에서 손실 압축을 가능하게 하며, 재인코딩을 통해 품질을 유지한다. 기존의 오토에인코더 기반 접근 방식보다 우수한 성능을 보이며, 비가역적 정보 손실을 가역 변환 이후로 연기함으로써 표현 능력을 더 잘 유지한다.

ABSTRACT

Deep learning based image compression has recently witnessed exciting progress and in some cases even managed to surpass transform coding based approaches that have been established and refined over many decades. However, state-of-the-art solutions for deep image compression typically employ autoencoders which map the input to a lower dimensional latent space and thus irreversibly discard information already before quantization. Due to that, they inherently limit the range of quality levels that can be covered. In contrast, traditional approaches in image compression allow for a larger range of quality levels. Interestingly, they employ an invertible transformation before performing the quantization step which explicitly discards information. Inspired by this, we propose a deep image compression method that is able to go from low bit-rates to near lossless quality by leveraging normalizing flows to learn a bijective mapping from the image space to a latent representation. In addition to this, we demonstrate further advantages unique to our solution, such as the ability to maintain constant quality results through re-encoding, even when performed multiple times. To the best of our knowledge, this is the first work to explore the opportunities for leveraging normalizing flows for lossy image compression.

연구 동기 및 목표

• 최신 오토에인코더 기반 이미지 압축 기술에서의 품질 범위 제한 문제를 해결하기 위해, 양자화 이전에 정보를 비가역적으로 손실하는 방식을 개선하고자 한다.
• 기존의 압축 기법이 양자화 이전에 가역 변환을 사용하는 데 영감을 받아, 손실 압축에서 가역적 정규화 흐름의 잠재력을 탐색하고자 한다.
• 단일 학습 모델을 통해 저비트레이트에서 거의 손실 없는 압축까지 연속적인 품질 수준을 제공할 수 있도록 하고자 한다.
• 기존의 딥 압축 기법에서 흔하지 않은 특성인 다중 재인코딩 과정에서도 일관된 품질을 유지하고자 한다.

제안 방법

• 이미지 공간에서 잠재 표현으로의 이항 사상(가역적이고 미분 가능)을 학습하기 위해 정규화 흐름을 활용한다.
• 가역 변환 이후에만 양자화를 적용함으로써, 잠재 코드로부터 원본 이미지를 재구성할 수 있는 능력을 유지한다.
• 복잡하고 다재다능한 분포를 잠재 공간에서 모델링하기 위해 정규화 흐름 아키텍처를 사용하여 고정밀도 압축을 가능하게 한다.
• 압축 효율성과 재구성 품질을 동시에 최적화하기 위해 가능도 기반 목적 함수를 사용하여 흐름을 훈련한다.
• 엔드 투 엔드 훈련이 가능한 미분 가능한 양자화 단계를 도입하여 압축 파이프라인 전체를 최적화한다.
• 잠재 공간의 조정을 통해 비트레이트를 조절함으로써 다양한 품질 수준을 지원하며, 별도의 모델이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 정규화 흐름을 효과적으로 활용하여 저비트레이트에서 거의 손실 없는 수준까지 연속적인 품질 수준을 제공하는 손실 압축을 구현할 수 있는가?
• RQ2 양자화 이전에 가역 변환을 사용할 경우, 기존의 오토에인코더 기반 방법과 비교해 압축 성능과 재구성 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 기존 오토에인코더 기반 접근 방식과 달리 다중 재인코딩 과정에서도 일관된 이미지 품질을 유지할 수 있는가?
• RQ4 압축 파이프라인에 정규화 흐름을 사용할 경우, 압축 효율성과 재구성 정밀도 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• 제안된 방법은 거의 손실 없는 품질을 포함한 광범위한 비트레이트 범위에서 경쟁력 있거나 우수한 비트레이트-왜곡 성능을 달성한다.
• 기존 오토에인코더 기반 모델과는 달리, 다중 재인코딩 과정에서도 일관된 이미지 품질을 유지할 수 있어 유일한 이점이다.
• 정규화 흐름을 사용함으로써, 별도의 아키텍처가 필요로 하는 모델들과 달리 비트레이트에 따른 연속적이고 융통성 있는 품질 조정이 가능하다.
• 기존 오토에인코더 기반 압축 방법보다 비가역적 정보 손실을 가역 변환 이후로 연기함으로써 더 높은 표현 능력을 유지함으로써 성능이 뛰어나다.