[논문 리뷰] Gated Context Model with Embedded Priors for Deep Image Compression

Haojie Liu, Tong Chen외 3명|arXiv (Cornell University)|2019. 02. 27.

Image and Signal Denoising Methods참고 문헌 20인용 수 8

한 줄 요약

이 논문은 깊이 있는 이미지 압축을 위한 게이트된 컨텍스트 모델과 내장된 사전 지식을 제안하며, 분리 가능한 스택을 사용해 수신 필드의 盲점 문제를 제거하고, 복원 향상을 위한 정보 보완 네트워크를 도입한다. MS-SSIM를 왜곡 척도로 사용하여 Kodak 데이터셋에서 모든 비트레이트에서 JPEG, JPEG2000, BPG 및 이전의 학습 기반 방법들을 능가하는 최신 기술 수준의 비트레이트-왜곡 성능을 달성한다.

ABSTRACT

A deep image compression scheme is proposed in this paper, offering the state-of-the-art compression efficiency, against the traditional JPEG, JPEG2000, BPG and those popular learning based methodologies. This is achieved by a novel conditional probably model with embedded priors which can accurately approximate the entropy rate for rate-distortion optimization. It utilizes three separable stacks to eliminate the blind spots in the receptive field for better probability prediction and computation reduction. Those embedded priors can be further used to help the image reconstruction when fused with latent features, after passing through the proposed information compensation network (ICN). Residual learning with generalized divisive normalization (GDN) based activation is used in our encoder and decoder with fast convergence rate and efficient performance. We have evaluated our model and other methods using rate-distortion criteria, where distortion is measured by multi-scale structural similarity (MS-SSIM). We have also discussed the impacts of various distortion metrics on the reconstructed image quality. Besides, a field study on perceptual quality is also given via a dedicated subjective assessment, to compare the efficiency of our proposed methods and other conventional image compression methods.

연구 동기 및 목표

• JPEG 및 JPEG2000와 같은 전통적 이미지 압축 방법의 성능 저하 문제를 해결하기 위해 고정된 선형 변환과 제한된 예측 모드에 의존하는 것.
• 학습 기반 압축에서 엔트로피 비율 추정을 향상시키기 위해 내장된 사전 지식과 게이트 메커니즘을 갖춘 조건부 확률 모델을 도입하기 위해.
• 정보 보완 네트워크(ICC)를 통해 초기 퍼지와 잠재 특징을 융합하여 이미지 복원 품질을 향상시키기 위해.
• MS-SSIM, SSIM, MSE, VGG 기반 특징과 같은 다양한 왜곡 척도가 엔드 투 엔드 학습 프레임워크에서 비트레이트-왜곡 효율성에 미치는 영향을 평가하기 위해.
• 주관적 품질 평가를 위해 DSIS 변종을 사용하여 저비트레이트에서의 정성적 우수성을 검증하기 위해.

제안 방법

• 수신 필드의 盲점 문제를 제거하기 위해 게이트된 컨텍스트 모델과 3개의 분리 가능한 스택을 사용하여 확률 예측을 향상시키고 계산량을 감소시킨다.
• 잠재 벡터 z로 내장된 사전 지식을 도입하여 조건부 확률 밀도 p(x|z)를 정규분포의 스케일 혼합으로 모델링하여 정확한 엔트로피 비율 추정을 수행한다.
• 배치 정규화를 대체하기 위해 인코더와 디코더에서 잔차 학습과 일반화된 나눗셈 정규화(GDN)를 사용하여 수렴 속도를 빠르게 하고 효율적인 특징 학습을 달성한다.
• 정보 보완 네트워크(ICN)를 적용하여 초기 퍼지 z를 변환하고 잠재 표현과 융합하여 복원 품질을 향상시킨다.
• 학습 중에는 기울기 근사와 함께 소프트에서 하드로의 양자화를 사용하고 추론 시에는 직접 반올림하여 미분 가능성을 유지한다.
• 비트레이트 R은 비트 단위로 측정되고, 왜곡 D는 MS-SSIM로 평가되는 비트레이트-왜곡 최적화(RDO)를 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 게이트된 컨텍스트 모델과 내장된 사전 지식을 통해 기존의 학습 기반 방법보다 엔트로피 비율 추정과 비트레이트-왜곡 성능을 향상시킬 수 있는가?
• RQ2 분리 가능한 스택의 사용이 깊이 있는 이미지 압축에서 수신 필드의 盲점 문제를 어떻게 줄이고 확률 예측을 향상시키는가?
• RQ3 정보 보완 네트워크를 통해 융합된 내장된 사전 지식이 이미지 복원 품질을 어느 정도 향상시키는가?
• RQ4 MS-SSIM, PSNR, VGG 기반 특징과 같은 다양한 왜곡 척도가 학습된 압축 모델의 정성적 품질과 비트레이트-왜곡 효율성에 어떤 영향을 미치는가?
• RQ5 주관적 평가를 통해 저비트레이트에서 제안된 방법이 BPG 및 JPEG2000와 같은 기존 코덱보다 정성적 품질이 뛰어나다는가 확인되는가?

주요 결과

• 제안된 방법은 MS-SSIM와 실제 비트레이트로 측정했을 때 Kodak 데이터셋에서 모든 비트레이트에서 JPEG, JPEG2000, BPG 및 이전의 학습 기반 방법들을 능가하는 최신 기술 수준의 압축 효율성을 달성한다.
• DSIS 변종을 사용한 주관적 평가 결과, 제안된 방법은 저비트레이트(≤0.5 bpp)에서도 높은 정성적 품질을 유지하며, 다른 방법들에 비해 색상 왜곡, 블록성, 과도한 부드러움이 최소한으로 나타난다.
• 매우 낮은 비트레이트(≤0.2 bpp)에서 제안된 방법은 고품질의 시각적으로 일관된 복원 결과를 생성하는 반면, 다른 방법들은 심각한 시각적 열화를 보인다.
• 고비트레이트에서는 BPG와 JPEG2000가 PSNR 기준으로 제안된 방법을 능가하여, 고비트레이트 정밀도 최적화에서는 MS-SSIM가 PSNR보다 불리한 점을 확인한다.
• MS-SSIM가 저비트레이트에서 정성적 품질을 유지하는 데 효과적임을 확인했지만, 전체 비트레이트 범위에서 정밀도를 균형 있게 유지할 수 있는 왜곡 척도가 필요함을 시사한다.
• GDN 활성화 함수와 잔차 학습의 조합은 빠른 수렴과 효율적인 성능을 가능하게 하여, 모델의 실용적 구현 가능성을 높인다.