[논문 리뷰] A Unified End-to-End Framework for Efficient Deep Image Compression

Jiaheng Liu, Guo Lu외 2명|arXiv (Cornell University)|2020. 02. 09.

Advanced Data Compression Techniques참고 문헌 37인용 수 64

한 줄 요약

논문은 EDIC를 제시하는데, 채널 어텐션 모듈, Gaussian mixture entropy 모델링, 그리고 디코더-사이드 향상을 사용하여 기존의 자동 회귀 방법보다 훨씬 빠른 디코딩 속도와 함께 최첨단 성능을 달성하고 이미지 압축에서 비디오 압축으로 확장한다.

ABSTRACT

Image compression is a widely used technique to reduce the spatial redundancy in images. Recently, learning based image compression has achieved significant progress by using the powerful representation ability from neural networks. However, the current state-of-the-art learning based image compression methods suffer from the huge computational cost, which limits their capacity for practical applications. In this paper, we propose a unified framework called Efficient Deep Image Compression (EDIC) based on three new technologies, including a channel attention module, a Gaussian mixture model and a decoder-side enhancement module. Specifically, we design an auto-encoder style network for learning based image compression. To improve the coding efficiency, we exploit the channel relationship between latent representations by using the channel attention module. Besides, the Gaussian mixture model is introduced for the entropy model and improves the accuracy for bitrate estimation. Furthermore, we introduce the decoder-side enhancement module to further improve image compression performance. Our EDIC method can also be readily incorporated with the Deep Video Compression (DVC) framework to further improve the video compression performance. Simultaneously, our EDIC method boosts the coding performance significantly while bringing slightly increased computational cost. More importantly, experimental results demonstrate that the proposed approach outperforms the current state-of-the-art image compression methods and is up to more than 150 times faster in terms of decoding speed when compared with Minnen's method. The proposed framework also successfully improves the performance of the recent deep video compression system DVC. Our code will be released at https://github.com/liujiaheng/compression.

연구 동기 및 목표

• 엔드-투-엔드 학습을 통한 품질 유지와 함께 이미지 압축 비트레이트를 감소시킨다.
• 단일 가우시안 Priors를 넘어 엔트로피 모델링 정확도를 향상시킨다.
• 실용적 배치를 가능하게 하는 디코딩 복잡도를 감소시킨다.
• 이미지 프레임워크의 비디오 압축으로의 원활한 확장을 가능하게 한다.
• DVC와 같은 기존 비디오 코덱과의 호환성과 이득을 시연한다.]
• method:[
• Auto-encoder style network for image compression with encoder, decoder, hyper-encoder, and hyper-decoder modules.
• Channel attention module to capture channel relationships in latent features.
• Gaussian Mixture Model (GMM) as the entropy model for y given z, improving bitrate estimation.
• Decoder-side enhancement module to reduce artifacts and improve reconstructed quality.
• End-to-end optimization via rate-distortion objective L = λD + R with R ≈ H(ŷ) + H(ẑ).
• Extension of the image framework to video compression by reusing the EDIC components for residuals and motion information.

제안 방법

• Auto-encoder style network for image compression with encoder, decoder, hyper-encoder, and hyper-decoder modules.
• Channel attention module to capture channel relationships in latent features.
• Gaussian Mixture Model (GMM) as the entropy model for y given z, improving bitrate estimation.
• Decoder-side enhancement module to reduce artifacts and improve reconstructed quality.
• End-to-end optimization via rate-distortion objective L = λD + R with R ≈ H(ŷ) + H(ẑ).
• Extension of the image framework to video compression by reusing the EDIC components for residuals and motion information.

실험 결과

연구 질문

• RQ1 EDIC가 최첨단 방법과 동등하거나 더 나은 레이트-디스트로션 성능을 훨씬 더 빠른 디코딩 속도와 함께 달성할 수 있는가?
• RQ2 Gaussian mixture 엔트로피 모델이 단일 가우시안보다 의미 있는 비트레이트 절감을 제공하는가?
• RQ3 디코더-사이드 향상 모듈이 비용 증가 없이 재구성 품질을 향상시키는가?
• RQ4 EDIC를 비디오 압축 프레임워크에 효과적으로 통합하여 성능을 개선할 수 있는가?

주요 결과

• EDIC는 Minnen 및 Lee와 같은 최첨단 방법과 비교해도 경쟁력 있는 이미지 압축 성능을 보여주며 전통 코덱(JPEG, JPEG2000, BPG)을 능가한다.
• EDIC는 자동 회귀 프라이어보다 훨씬 빠르게 디코딩되며(768×512 이미지에서 Minnen의 방법보다 약 150배 빠름).
• 가우시안 혼합 엔트로피 모델링은 단일 가우시안 대비 비트를 절감하며, 엣지 영역의 비트 할당이 개선되는 시각적 예시를 제공한다.
• 디코더-사이드 향상은 디코더에서 고주파 디테일을 학습해 노이즈를 줄이고 재구성 품질을 향상시킨다.
• 비디오 압축(DVC 기본값)과의 통합 시 EDIC의 개선은 잔차 및 모션 정보 인코딩으로 확산되어 일부 베이스라인보다 더 나은 RD 성능을 보인다.
• An Ablation studies show each module (channel attention, GMM, decoder-side enhancement) provides significant gains over a baseline single-Gaussian model.