[논문 리뷰] High-Fidelity Generative Image Compression

Fabian Mentzer, George Toderici외 2명|arXiv (Cornell University)|2020. 06. 17.

Advanced Data Compression Techniques참고 문헌 49인용 수 214

한 줄 요약

본 논문은 HiFiC를 소개하는데, 이는 GAN 기반의 학습 이미지 압축 시스템으로, 고해상도 및 다양한 비트레이트에서 지각적으로 고충실도 재구성을 제공하며, 사용자 연구와 다양한 지각 지표에서 BPG와 같은 전통 코덱보다 우수하다.

ABSTRACT

We extensively study how to combine Generative Adversarial Networks and learned compression to obtain a state-of-the-art generative lossy compression system. In particular, we investigate normalization layers, generator and discriminator architectures, training strategies, as well as perceptual losses. In contrast to previous work, i) we obtain visually pleasing reconstructions that are perceptually similar to the input, ii) we operate in a broad range of bitrates, and iii) our approach can be applied to high-resolution images. We bridge the gap between rate-distortion-perception theory and practice by evaluating our approach both quantitatively with various perceptual metrics, and with a user study. The study shows that our method is preferred to previous approaches even if they use more than 2x the bitrate.

연구 동기 및 목표

• 전통적인 비트당손실 최적화(rate-distortion)을 넘어 고해상도에서 지각적으로 충실한 손실 압축을 제시한다.
• 입력 이미지와 재구성의 분포를 정렬하는 GAN 기반 압축 프레임워크를 개발한다.
• 속도-왜곡-지각 이론을 실전으로 연결하여 평가를 통해 접근법을 다각도로 검증한다.
• 지각 품질과 안정성에 영향을 미치는 정규화, 생성기/판별기 설계 및 손실 항목 등의 아키텍처 선택을 평가한다.

제안 방법

• 지각 품질을 안내하기 위해 조건부 GAN으로 보강된 엔드투엔드 학습 압축을 공식화한다.
• 확률 모델과 엔트로피 코딩에 의해 학습된 레이트를 가진 MSE와 LPIPS 기반의 지각 왜곡을 결합한 왜곡 손실을 사용한다.
• 훈련 도중 적응적 lambda_prime를 통해 평균 비트레이트를 제어하는 레이트 타깃 메커니즘을 도입한다.
• 채널 정규화(ChannelNorm) 적용으로 학습 안정성을 확보하고 cross-resolution 일관성 향상을 위해 InstanceNorm을 대체한다.
• 잠재 표현에 판별기를 조건부로 적용하여 조건부 GAN을 구성하고, 잠재 엔트로피 모델링을 위한 하이프라이어 기반 확률 모델을 사용한다.
• GAN, 지각 손실, 생성기 용량의 효과를 분석하기 위한 두 단계 초기화 및 애블레이션 연구로 학습한다.

실험 결과

연구 질문

• RQ1 GAN 기반 압축 프레임워크가 고해상도 입력에 대해 지각적으로 충실한 재구성을 어떻게 달성할 수 있는가?
• RQ2 신경망 이미지 압축에서 레이트, 왜곡, 지각 품질의 균형을 가장 잘 이끌어내는 아키텍처 선택 및 손실 함수 조합은 무엇인가?
• RQ3 지각 지표와 인간 평가가 비트레이트와 데이터셋에 따라 GAN 기반 압축 방법의 순위를 일치시키는가?
• RQ4 판별기를 조건화하고 고급 정규화를 사용하는 것이 학습 안정성과 지각 결과에 어떤 영향을 미치는가?

주요 결과

• HiFiC는 비슷한 또는 더 낮은 비트레이트에서 베이스라인보다 더 높은 지각 충실도를 보이며, 사용자 연구에서 HiFiC 재구성이 BPG보다 2배 비트레이트일 때 선호되었다.
• FID, KID, NIQE, LPIPS, PSNR/MS-SSIM와 같은 지표에서 GAN 기반 접근은 지각 지수를 향상시키는 반면 전통적인 왜곡 지표는 희생되며, 이는 속도-왜곡-지각 이론과 일치한다.
• 조건부 판별기와 ChannelNorm은 학습을 안정화하고 해상도 간 선명도와 일관성을 향상시킨다.
• 지각 왜곡 구성요소(LPIPS 기반)와 GAN 가중치를 다르게 하면, 특히 낮은 비트레이트에서 더 높은 지각 품질이 더 큰 왜곡으로 이어지는 트레이드오프가 나타난다; 이 트레이드오프는 beta 매개변수를 통해 조정 가능하다.
• 이 방법은 최대 2000×2000 해상도까지 확장 가능하며, 다양한 데이터셋에 대한 정량 지표와 사용자 선호도 연구를 통해 검증된다.