[논문 리뷰] Learning Accurate Entropy Model with Global Reference for Image Compression

Yichen Qian, Zhiyu Tan외 6명|arXiv (Cornell University)|2020. 10. 16.

Advanced Image Processing Techniques참고 문헌 22인용 수 35

한 줄 요약

전역 참조 기반 엔트로피 모델과 평균 이동(GSDN)을 도입하여 학습 이미지 압축의 rate-distortion 성능을 향상시킨다. 로컬 컨텍스트, 글로벌 레퍼런스, 하이퍼프라이어를 결합하면 표준 벤치마크에서 최첨단 결과가 나옴을 입증한다.

ABSTRACT

In recent deep image compression neural networks, the entropy model plays a critical role in estimating the prior distribution of deep image encodings. Existing methods combine hyperprior with local context in the entropy estimation function. This greatly limits their performance due to the absence of a global vision. In this work, we propose a novel Global Reference Model for image compression to effectively leverage both the local and the global context information, leading to an enhanced compression rate. The proposed method scans decoded latents and then finds the most relevant latent to assist the distribution estimating of the current latent. A by-product of this work is the innovation of a mean-shifting GDN module that further improves the performance. Experimental results demonstrate that the proposed model outperforms the rate-distortion performance of most of the state-of-the-art methods in the industry.

연구 동기 및 목표

• 학습 이미지 압축에서 잠재 표현의 비지역적 공간 중복을 동기부여하고 해결한다.
• 엔트로피 모델링에서 로컬 컨텍스트와 하이퍼프라이어를 보강하기 위해 글로벌 레퍼런스 모듈을 개발한다.
• GDN의 평균 편향(mean-shifting)을 보정하고 잠재 분포 정렬을 개선하기 위해 GSDN을 도입한다.
• 결합된 모델이 최첨단 코덱 및 학습 기반 방법에 비해 RD 이점을 제공함을 입증한다.

제안 방법

• 로컬 컨텍스트, 글로벌 레퍼런스 및 하이퍼프라이어를 융합한 결합 엔트로피 모델을 포함하도록 자동인코더 기반 이미지 압축 프레임워크를 확장한다.
• 각 잠재를 이전 피처에 조건화된 평균과 스케일 매개변수를 갖는 가우시안으로 모델링하고, 기존 연구처럼 하이퍼프라이어 항(p_hat_y)을 추가한다.
• 유사도 코사인 유사도와 신뢰도 맵 U를 사용하여 각 타깃 잠재에 대해 관련 잠재를 찾기 위해 디코딩된 잠재(마스크된 패치)를 검색하는 참조 기반 모듈을 구현한다.
• GDN을 대체하기 위해 일반화된 뺄셈 및 나눗셈 정규화(GSDN)를 사용하여 잠재 분포의 평균 편향 문제를 보정하고 디코딩의 가역성을 가능하게 한다.
• 로컬, 글로벌 및 하이퍼프라이어 특성을 단계적으로 조합하여 가우시안 매개변수(mu, sigma)를 점차 정교화한다.
• RD 목적함수로 학습하며 MSE와 MS-SSIM 왜곡을 모두 탐구하고 BPG/JPEG 및 선행 학습 방법과 비교한다.

실험 결과

연구 질문

• RQ1 글로벌 레퍼런스 메커니즘이 잠재 표현의 비지역적 공간 중복을 활용하여 엔트로피 추정에 도움이 되는가?
• RQ2 글로벌 레퍼런스를 로컬 컨텍스트 및 하이퍼프라이어와 통합하면 학습 이미지 압축에서 컨텍스트-전용 및 하이퍼프라이어 기반 엔트로피 모델보다 성능이 우수한가?
• RQ3 GDN을 제안된 GSDN으로 대체하면 잠재 분포 및 전체 압축 성능에 어떤 영향이 있는가?
• RQ4 제안된 참조 모듈은 다른 왜곡 메트릭(MSE vs MS-SSIM) 및 비트레이트에서 어떻게 동작하는가?
• RQ5 결합 모델은 복잡도 증가 없이 최첨단 방법에 비해 RD 이점을 제공하는가?

주요 결과

• 전체 모델은 Kodak 및 기타 벤치마크에서 PSNR 및 MS-SSIM RD 성능 면에서 최첨단 코덱 및 학습 기반 방법을 능가한다.
• 글로벌 레퍼런스를 추가하면 저비트레이트에서 맥락만 모델 대비 5.3%의 인코딩 비트 절감이 발생한다.
• 신뢰도 맵 U를 도입하면 참조 모델의 성능이 더욱 향상된다.
• 제안된 GSDN으로 GDN을 교체하면 추가로 약 2.0%의 레이트 절감이 제공된다.
• 저비트레이트에서 BPG 대비 최대 약 21% BD-레이트 절감을 달성한다.
• 로컬 컨텍스트, 글로벌 레퍼런스 및 하이퍼프라이어를 결합하더라도 전체 모델 복잡도는 증가하지 않고 점진적인 개선을 이룬다.