[논문 리뷰] Improving Statistical Fidelity for Neural Image Compression with Implicit Local Likelihood Models

Matthew J. Muckley, Alaaeldin El-Nouby외 3명|arXiv (Cornell University)|2023. 01. 26.

Digital Media Forensic Detection인용 수 7

한 줄 요약

이 논문은 신경 이미지 압축을 위한 새로운 비이元적 적대적 판별자인 음성 국소 가능도 모델(ILLM)을 제안하며, VQ-VAE로 학습된 잠재 코드를 통해 국소 이미지 가능도를 모델링함으로써 통계적 충실도를 향상시킨다. CLIC2020, DIV2K, Kodak에서 평가한 결과, MS-ILLM는 HiFiC와 동일한 FID를 달성하면서도 30–40% 낮은 비트레이트를 사용하며, 왜곡-충실도 트레이드오프에서 PatchGAN 기반 베이스라인을 능가한다.

ABSTRACT

Lossy image compression aims to represent images in as few bits as possible while maintaining fidelity to the original. Theoretical results indicate that optimizing distortion metrics such as PSNR or MS-SSIM necessarily leads to a discrepancy in the statistics of original images from those of reconstructions, in particular at low bitrates, often manifested by the blurring of the compressed images. Previous work has leveraged adversarial discriminators to improve statistical fidelity. Yet these binary discriminators adopted from generative modeling tasks may not be ideal for image compression. In this paper, we introduce a non-binary discriminator that is conditioned on quantized local image representations obtained via VQ-VAE autoencoders. Our evaluations on the CLIC2020, DIV2K and Kodak datasets show that our discriminator is more effective for jointly optimizing distortion (e.g., PSNR) and statistical fidelity (e.g., FID) than the PatchGAN of the state-of-the-art HiFiC model. On CLIC2020, we obtain the same FID as HiFiC with 30-40\% fewer bits.

연구 동기 및 목표

• 저비트레이트에서 발생하는 흐림 현상으로 인해 발생하는 왜곡과 통계적 충실도 사이의 본질적 트레이드오프를 해결하기 위해.
• 기존 GAN 기반 판별자들이 전역 이미지 생성에 적응된 바에 비해, 압축의 국소적이고 세부 복구 성향과 일치하지 않을 수 있으므로, 이를 개선하기 위해.
• VQ-VAE로 학습된 코드북 표현을 활용해 국소 이미지 가능도를 모델링함으로써 충실도 최적화를 향상시키는 판별자를 개발하기 위해.
• 기존의 표준 PatchGAN과 비교해 국소적이고 암묵적인 가능도 모델링이 왜곡-편향-인식 트레이드오프를 더 우수하게 이끌 수 있음을 보여주기 위해.
• CLIC2020, DIV2K, Kodak 등 여러 벤치마크에서 정량적 및 정성적 비교를 통해 방법의 타당성을 검증하기 위해.

제안 방법

• ILLM 판별자는 VQ-VAE 기반 인코더를 통해 양자화된 국소 이미지 패치를 조건으로 하여, 국소 이미지 이웃의 잠재 공간에서 암묵적인 가능도를 학습한다.
• 판별자는 정규화 레이어가 없는 U-Net으로 구현되었으며, 훈련 안정성과 성능에서 스펙트럼 정규화 및 인스턴스 정규화보다 우수한 성능을 보여 실증적으로 검증되었다.
• 이 방법은 평균-스케일 하이퍼프리오리티 아키텍처와 통합되어, 새로운 압축기인 MS-ILLM를 구성하며, PSNR와 FID를 동시에 최적화한다.
• VQ-VAE 구성요소는 국소 이미지 패치의 이산 잠재 코드를 생성하며, 판별자는 이 코드를 사용해 명시적 밀도 추정 없이 국소 가능도를 추정한다.
• 훈련 목표는 재구성 손실(PSNR)과 적대적 손실(FID)을 균형 잡는 것으로, 판별자는 국소 잠재 공간에서 진짜 이미지와 재구성된 이미지를 구분하도록 훈련된다.
• 단절 분석을 통해 잠재 공간 크기와 코드북 크기의 성능에 미치는 영향을 평가하였으며, 이는 이러한 하이퍼파ram터에 대해 약간의 민감도를 보임을 보여주었다.

실험 결과

연구 질문

• RQ1 국소적이고 암묵적인 가능도 기반 판별자는 전역 GAN 판별자보다 신경 이미지 압축에서 통계적 충실도를 향상시킬 수 있는가?
• RQ2 VQ-VAE로 학습된 국소 잠재 코드에 조건을 부여한 판별자는 저비트레이트 환경에서 PatchGAN보다 FID와 PSNR 트레이드오프를 더 우수하게 만들 수 있는가?
• RQ3 정규화 레이어와 잠재 차원 등의 아키텍처 선택이 ILLM 판별자의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 HiFiC보다 훨씬 낮은 비트레이트에서 SOTA FID를 달성할 수 있는가?
• RQ5 텍스처나 텍스트 등 도전적인 이미지 콘텐츠에서는 어떻게 성능을 발휘하는가? 특히 GAN이 실패하기 쉬운 영역에서.

주요 결과

• CLIC2020에서 MS-ILLM는 HiFiC와 동일한 FID를 달성하면서도 30–40% 적은 비트를 사용하여, 더 뛰어난 비트레이트-왜곡-인식 트레이드오프를 보였다.
• 0.149 bpp에서 MS-ILLM는 26.6 PSNR와 FID 2.55를 기록했으며, HiFiC(0.181 bpp에서 26.8 PSNR, FID 3.04)보다 우수한 성능을 보였다.
• qualitative 비교에서 ILLM 판별자는 HiFiC보다 아티팩트를 줄였으며, 특히 털과 세밀한 디테일가득한 영역에서 뚜렷하게 개선된 결과를 보였다.
• 놀랍게도, 스펙트럼 정규화가 이전 GAN 연구에서 표준이었음에도 불구하고, 정규화 레이어가 전혀 없는 U-Net 판별자가 가장 우수한 성능을 보였다.
• 단절 분석 결과, VQ-VAE의 잠재 공간 크기를 16×16에서 32×32로 증가시켰을 때 0.121 bpp에서 FID가 2.65에서 2.55로 0.12 향상되었으며, 코드북 크기의 영향은 미미했다.
• 텍스트가 많은 이미지에서는 MS-ILLM가 HiFiC보다 더 우수한 가독성을 유지했지만, 양측 모두 비-적대적 베이스라인에 비해 성능이 떨어졌으며, 이는 텍스트 충실도 측면에서의 트레이드오프를 시사한다.