[논문 리뷰] End-to-end Optimized Image Compression

Johannes Ballé, Valero Laparra외 1명|arXiv (Cornell University)|2016. 11. 05.

Image and Signal Denoising Methods참고 문헌 31인용 수 1,010

한 줄 요약

이 논문은 일반화된 divisive normalization(GDN) 비선형성 및 균일 양자화를 갖춘 비선형 트랜스폼 코딩 모델을 엔드-투-엔드로 비트율-왜곡(rate–distortion)을 최적화하여 지각적 품질이 우수하고 JPEG 및 JPEG 2000에 비해 경쟁력 있는 비트율-왜곡 성능을 달성합니다.

ABSTRACT

We describe an image compression method, consisting of a nonlinear analysis transformation, a uniform quantizer, and a nonlinear synthesis transformation. The transforms are constructed in three successive stages of convolutional linear filters and nonlinear activation functions. Unlike most convolutional neural networks, the joint nonlinearity is chosen to implement a form of local gain control, inspired by those used to model biological neurons. Using a variant of stochastic gradient descent, we jointly optimize the entire model for rate-distortion performance over a database of training images, introducing a continuous proxy for the discontinuous loss function arising from the quantizer. Under certain conditions, the relaxed loss function may be interpreted as the log likelihood of a generative model, as implemented by a variational autoencoder. Unlike these models, however, the compression model must operate at any given point along the rate-distortion curve, as specified by a trade-off parameter. Across an independent set of test images, we find that the optimized method generally exhibits better rate-distortion performance than the standard JPEG and JPEG 2000 compression methods. More importantly, we observe a dramatic improvement in visual quality for all images at all bit rates, which is supported by objective quality estimates using MS-SSIM.

연구 동기 및 목표

• 학습 가능한 비선형 트랜스폼 코딩 프레임워크를 통해 손실 이미지 압축 문제에 대한 동기를 부여하고 해결합니다.
• rate–distortion 목표하에 분석/합성 트랜스폼의 엔드-투-엔드 최적화를 도입합니다.
• 로컬 이미지 통계를 가우시안화하기 위해 generalized divisive normalization (GDN) 비선형 게인 제어를 활용합니다.
• 확률적 경사 하강법 최적화를 가능하게 하는 양자화의 미분 가능한 이완을 적용합니다.
• JPEG 및 JPEG 2000에 비해 향상된 rate–distortion 성능과 상당한 지각 품질 향상을 입증합니다.

제안 방법

• 분석 트랜스폼을 형성하기 위해 컨볼루션 필터의 3단계 계단식 및 generalized divisive normalization (GDN)을 사용합니다.
• 코드 공간에서 균일한 스칼라 양자화 후 근사 역수(IGDN)와 함께 대응하는 3단계 합성 트랜스폼을 적용합니다.
• 양자화를 가산 균등 잡음으로 이완시켜 경사 기반 최적화를 가능하게 하면서 양자화된 코드의 엔트로피를 기반으로 하는 rate 용어를 목표로 합니다.
• 분석/합성 트랜스폼 및 엔트로피 모델을 공동으로 최적화하여 손실 L = E[ -log2 p(Ã y) + λ d(z, ẑ) ]를 최소화하고 연속 이완을 통해 rate와 distortion을 근사합니다.
• 학습 중에 업데이트되는 비모수적 분할선형 밀도(nonparametric, piecewise-linear densities)로 코드 공간의 주변 분포 p(Ã y)을 모델링합니다.
• 프레임워크를 변분 자동인코더(variational autoencoders)와 연관지어 유사점과 핵심 차이점(이산적 압축, 엔드-투-엔드 rate–distortion hull)을 강조합니다.

실험 결과

연구 질문

• RQ1 자연 이미지에 대해 비선형 트랜스폼 코드의 엔드-투-엔드 최적화가 rate–distortion 성능을 향상시킬 수 있는가?
• RQ2 생물학적으로 영감을 받은 비선형 게인 제어(GDN/IGDN)가 이미지 통계를 더 잘 가우시안화하고 코딩 효율을 향상시키는가?
• RQ3 다른 λ 트레이드오프에 걸쳐 rate–distortion 목표를 최적화하는 것이 지각 품질과 전통적 지표 간에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 비트율 전반에서 JPEG 및 JPEG 2000과 객관적 지표(MS-SSIM, PSNR) 및 시각적 품질 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 테스트 이미지에서 JPEG 및 JPEG 2000보다 더 나은 rate–distortion 성능을 자주 보여준다.
• 비슷한 비트레이트에서 이 방법은 훨씬 높은 MS-SSIM을 달성하여 이미지와 레이트 전반에 걸친 지각 품질이 우수함을 나타낸다.
• 대표적인 예에서, JPEG: 0.121 bit/px with PSNR Luma 24.85 dB and MS-SSIM 0.8079; JPEG 2000: 0.113 bit/px with PSNR Luma 26.61 dB and MS-SSIM 0.8860; 제안된 방법: 0.113 bit/px with PSNR Luma 27.01 dB and MS-SSIM 0.9039.
• 시각적 품질의 이점은 선형 변환 코덱에 비해 차단(blocking) 및 링잉(ringing) 아티팩트를 줄이고, 비트레이트 전반에 걸려 더 매끄러운 등고선과 보존된 에지(edge)를 제공하는 것 등입니다.
• MS-SSIM 기반 평가에서 알 수 있듯이 모든 테스트 이미지와 비트레이트에서 지각적 개선을 보여줍니다.
• 학습은 연속 이완이 이산적인 rate–distortion 목표에 대한 좋은 근사를 제공하여 효과적인 엔드-투-엔드 최적화를 가능하게 함을 보여줍니다.
• MSE로 학습되었음에도 이 접근법은 시각적으로 우수한 결과를 낳아 perceptual 지표를 학습에 사용하면 잠재적 이점이 있음을 시사합니다.