[논문 리뷰] Modeling Lost Information in Lossy Image Compression

Yaolong Wang, Xiao Ming-qing외 3명|arXiv (Cornell University)|2020. 06. 22.

Advanced Data Compression Techniques참고 문헌 31인용 수 19

한 줄 요약

이 논문은 손실 압축 중에 손실되는 정보를 직접 캡처하고 저장하기 위해 역가능한 인코딩 모듈을 사용하는 새로운 프레임워크인 역가능한 손실 압축(Invertible Lossy Compression, ILC)을 제안한다. 고주파 성분을 보조 잠재 변수에 명시적으로 저장함으로써, 이 모듈은 이미지 복원 품질을 기존의 자동에코더 기반 방법보다 최대 0.4 dB PSNR 향상시키며 비트레이트를 증가시키지 않는다.

ABSTRACT

Lossy image compression is one of the most commonly used operators for digital images. Most recently proposed deep-learning-based image compression methods leverage the auto-encoder structure, and reach a series of promising results in this field. The images are encoded into low dimensional latent features first, and entropy coded subsequently by exploiting the statistical redundancy. However, the information lost during encoding is unfortunately inevitable, which poses a significant challenge to the decoder to reconstruct the original images. In this work, we propose a novel invertible framework called Invertible Lossy Compression (ILC) to largely mitigate the information loss problem. Specifically, ILC introduces an invertible encoding module to replace the encoder-decoder structure to produce the low dimensional informative latent representation, meanwhile, transform the lost information into an auxiliary latent variable that won't be further coded or stored. The latent representation is quantized and encoded into bit-stream, and the latent variable is forced to follow a specified distribution, i.e. isotropic Gaussian distribution. In this way, recovering the original image is made tractable by easily drawing a surrogate latent variable and applying the inverse pass of the module with the sampled variable and decoded latent features. Experimental results demonstrate that with a new component replacing the auto-encoder in image compression methods, ILC can significantly outperform the baseline method on extensive benchmark datasets by combining with the existing compression algorithms.

연구 동기 및 목표

• 손실 압축에서 복원이 불완전한 문제를 해결하기 위해, 복원 과정에서 복구가 어려운 정보 손실을 방지한다.
• 특히 고주파 성분을 포함한 손실된 정보의 통계적 행동을 명시적으로 모델링하고 유지한다.
• 기존 자동에코더 아키텍처를 대체하기 위해 전체 역가능성을 유지하는 역가능한 인코딩 모듈을 도입하여 재구성 가능성을 보장한다.
• 사전 훈련된 교사 모델에서의 지식 정복을 활용하여 훈련을 가속화하고 재구성 정밀도를 향상시켜 비용-왜곡 성능을 향상시킨다.
• 손실된 정보를 명시적으로 모델링할 경우, 특히 저비트레이트에서 상당한 PSNR 향상이 달성됨을 입증한다.

제안 방법

• 기존 자동에코더를 대체하기 위해 입력 이미지와 동일한 차원을 유지하는 역가능한 인코딩 모듈(IEM)을 도입하여 완전한 역가능성을 확보한다.
• IEM 출력을 두 부분으로 분할: y(압축된 잠재 표현)와 z(손실된 정보를 저장하는 보조 잠재 변수).
• 엔트로피 코딩을 위해 y만 양자화하고, z는 등방성 가우시안 분포를 따르도록 모델링하여 재구성 시 샘플링이 가능하도록 한다.
• 사전 훈련된 교사 모델에서의 지식 정복을 통해 소프트 레이블을 제공함으로써 훈련 속도를 가속화하고 표현 품질을 향상시킨다.
• 복원된 y와 학습된 가우시안 분포에서 샘플링된 z를 사용하여 IEM의 역방향 전파를 적용하여 원본 이미지를 재구성한다.
• z가 표준 가우시안 분포를 따르도록 유도하기 위해 분포 매칭 손실을 적용하여 재구성 시 안정적이고 의미 있는 샘플링을 보장한다.

실험 결과

연구 질문

• RQ1 압축 과정에서 손실된 정보를 명시적으로 모델링할 경우, 손실 압축에서의 복원 품질 향상이 가능할까?
• RQ2 기존 자동에코더를 대체하여 역가능한 인코딩 모듈을 도입할 경우, 표준 자동에코더 기반 방법보다 더 나은 비용-왜곡 성능을 달성할 수 있을까?
• RQ3 사전 훈련된 교사 모델에서의 지식 정복이 역가능한 모듈의 훈련을 효과적으로 이끌고 수렴 속도를 가속화할 수 있을까?
• RQ4 ILC의 성능은 비트레이트 감소에 따라 어떻게 변화하는가? 특히 기준선 대비 PSNR 향상 측면에서 어떤가?
• RQ5 보조 잠재 변수 z의 통계적 모델링이 복원 정밀도에 얼마나 기여하는가?

주요 결과

• ILC는 동일한 압축 비율에서 기준선 자동에코더 방법 대비 약 0.4 dB의 PSNR 향상을 보이며, 다양한 데이터셋에서 일관된 성능 향상을 입증한다.
• ILC의 성능 향상은 비트레이트가 낮을수록 더 두드러지며, 이는 정보 손실이 심해지고 고주파 성분의 명시적 모델링이 더욱 중요해지기 때문이다.
• ILC는 교사 모델의 성능과 강한 정적 상관관계를 보이며, 이는 프레임워크가 교사의 표현을 효과적으로 학습하고 일반화함을 시사한다.
• 지정된 가우시안 분포에서 가장 가능성 높은 z 값을 샘플링하는 것이 무작위 샘플링보다 더 나은 복원 품질을 제공함을 보여주며, 분포 모델링의 중요성을 입증한다.
• 지식 정복의 사용은 훈련 속도를 크게 가속화하고 IEM에서 학습된 잠재 표현의 품질을 향상시킨다.
• Kodak 및 ImageNet 데이터셋에서의 광범위한 실험을 통해 ILC는 다양한 압축 비율에서 기준선 방법을 일관되게 능가함을 확인한다.