[논문 리뷰] Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression

Zhengxue Cheng, Heming Sun외 2명|arXiv (Cornell University)|2018. 07. 01.

Advanced Image Processing Techniques인용 수 13

한 줄 요약

이 논문은 딥러닝 기반 이미지 압축을 위한 세 가지 방법: 컨volution 오토에인코더(CAEs), 생성적 적대 기반 네트워크(GANs), 슈퍼레졸루션(SR)을 제안하고 비교한다. CAEs는 압축 효율성이 뛰어나 JPEG보다 우수한 압축 성능을 보이며, GANs는 고압축 비율에서 뛰어난 주관적 품질을 제공한다. SR 기반 압축은 rate-distortion 성능이 가장 우수하여 BPG 수준의 효율성에 가까워지며, 0.15 bpp에서 CAEs와 GANs를 모두 능가하는 객관적 지표를 확보한다.

ABSTRACT

Image compression has been investigated for many decades. Recently, deep learning approaches have achieved a great success in many computer vision tasks, and are gradually used in image compression. In this paper, we develop three overall compression architectures based on convolutional autoencoders (CAEs), generative adversarial networks (GANs) as well as super-resolution (SR), and present a comprehensive performance comparison. According to experimental results, CAEs achieve better coding efficiency than JPEG by extracting compact features. GANs show potential advantages on large compression ratio and high subjective quality reconstruction. Super-resolution achieves the best rate-distortion (RD) performance among them, which is comparable to BPG.

연구 동기 및 목표

• 세 가지 딥러닝 기반 이미지 압축 아키텍처인 CAEs, GANs, 슈퍼레졸루션의 성능을 평가하고 비교하는 것.
• 다양한 압축 비율에서 압축 효율성, 주관적 품질, rate-distortion 간 상호보완적 관계를 평가하는 것.
• 학습된 이미지 압축 방법이 전통적 코덱인 JPEG 및 BPG를 능가할 수 있는지 조사하는 것.
• 딥러닝과 슈퍼레졸루션의 융합이 복구 품질 향상 잠재력을 갖는지 탐색하는 것.
• 표준 지표인 PSNR 및 MS-SSIM를 사용하여 엔드 투 엔드 학습된 압축 방법의 종합적 벤치마킹을 제공하는 것.

제안 방법

• CAE 기반 방법은 PReLU 활성화 함수를 사용하는 컨volution 오토에인코더를 사용하며, MSE 복원 손실과 잠재 코드의 L2 노름을 조합한 rate-distortion 손실 함수를 적용한다.
• GAN 기반 방법은 생성자-판별자 아키텍처를 사용하며, 생성자가 디코더 역할을 하며, 판별자는 특징 매칭 손실을 통해 주관적 피드백을 제공한다.
• 슈퍼레졸루션 방법은 전처리로 이중선형 보간을 사용하고, 디코더에서 학습된 SR 필터를 적용하여 복원된 이미지 품질을 향상시킨다.
• 모든 방법은 PCA, 균일 양자화, JPEG2000 엔트로피 코딩을 사용하여 최종 비트스트림을 생성한다.
• 학습은 고정된 학습률과 배치 크기를 사용하는 Adam 옵timizer를 사용하며, 모델은 CLIC 검증 데이터셋에서 평가된다.
• rate-distortion 성능 평가에는 다양한 비트레이트에서 PSNR 및 MS-SSIM를 사용하며, 입력 크기, 코드 크기, 양자화 비트 수에 대한 분석 연구도 실시한다.

실험 결과

연구 질문

• RQ1 CAE 기반 압축의 rate-distortion 성능은 JPEG 및 BPG와 비교해 어떻게 되는가?
• RQ2 GAN 기반 적대적 학습은 고압축 비율에서 주관적 이미지 품질에 어떤 영향을 미치는가?
• RQ3 슈퍼레졸루션 기법은 학습된 이미지 압축의 복원 품질과 rate-distortion 성능을 향상시킬 수 있는가?
• RQ4 보간 및 양자화와 같은 다양한 전처리 전략은 최종 압축 효율성에 어떤 영향을 미치는가?
• RQ5 PSNR 및 MS-SSIM 측면에서 학습된 압축 방법이 JPEG2000 및 BPG와 같은 전통적 코덱을 얼마나 능가할 수 있는가?

주요 결과

• CAEs는 이미지의 압축 효율성이 뛰어난 저차원 표현을 학습할 수 있어 JPEG보다 더 뛰어난 압축 효율성을 달성한다.
• GAN 기반 압축은 저비트레이트에서 뛰어난 주관적 품질을 제공하며, 특히 0.2–0.8 bpp 범위에서 MS-SSIM에서 뛰어난 성능을 보인다.
• 슈퍼레졸루션 기반 압축은 가장 뛰어난 rate-distortion 성능을 보이며, 0.143 bpp에서 30.00 dB PSNR 및 0.947 MS-SSIM를 달성하여 BPG의 성능에 매우 가까이 다가선다.
• 0.15 bpp에서 SR 방법은 PSNR 및 MS-SSIM 모두에서 CAE 및 GAN을 능가하며, 각각 30.00 dB 및 0.947 MS-SSIM를 기록한다. 이는 BPG의 30.85 dB 및 0.948 MS-SSIM에 비해 약간 낮지만 매우 유사한 성능을 보인다.
• 보간 스케일을 (W,H)에서 (4W,4H)로 증가시키면 PSNR가 약 3.5 dB 향상되지만 비트레이트는 약 4배 증가하여 품질과 효율성 간의 상충 관계가 드러난다.
• 양자화 비트 수를 8에서 5로 줄이면 복원 품질이 심각하게 악화되며, PSNR가 25.179 dB로 떨어지며 비트 깊이에 매우 민감함을 보여준다.