[논문 리뷰] Multi-scale and Context-adaptive Entropy Model for Image Compression

Jing Zhou, Wen, Sihan외 3명|arXiv (Cornell University)|2019. 10. 17.

Advanced Data Compression Techniques인용 수 12

한 줄 요약

이 논문은 다중 척도, 맥락 적응형 엔트로피 모델을 갖춘 엔드 투 엔드 학습 가능한 이미지 압축 프레임워크를 제안하며, 자동회귀적 및 계층적 사전 정보를 조합하여 저비트레이트에서의 비율-왜곡 성능을 향상시킨다. 이 방법은 다중 척도 마스크 컨벌루션, 수신장 자르기 및 선택적 산술 부호화를 통한 계산 최적화, 그리고 제약 조건 하에 MS-SSIM을 최대화하기 위한 다중 모델 간 비트레이트 할당을 통합하여, 저비트레이트에서 최신 기술 수준의 MS-SSIM 성능을 달성한다.

ABSTRACT

We propose an end-to-end trainable image compression framework with a multi-scale and context-adaptive entropy model, especially for low bitrate compression. Due to the success of autoregressive priors in probabilistic generative model, the complementary combination of autoregressive and hierarchical priors can estimate the distribution of each latent representation accurately. Based on this combination, we firstly propose a multi-scale masked convolutional network as our autoregressive model. Secondly, for the significant computational penalty of generative model, we focus on decoded representations covered by receptive field, and skip full zero latents in arithmetic codec. At last, according to the low-rate compression's constraint in CLIC-2019, we use a method to maximize MS-SSIM by allocating bitrate for each image.

연구 동기 및 목표

• 다중 척도 및 맥락 적응형 모델링을 통해 엔트로피 모델 정확도를 향상시켜 저비트레이트에서 이미지 압축 성능을 향상시키는 것.
• 자동회귀적 엔트로피 모델의 높은 계산 비용을 해결하기 위해 수신장 자르기 및 선택적 산술 부호화를 통한 추론 최적화.
• 전체 비트레이트 제약 조건 하에 데이터셋 전체에서 MS-SSIM을 최대화하기 위해 다중 모델 간 적응형 비트레이트 할당을 적용하는 것.
• 고급 엔트로피 모델링과 효율적인 압축 전략을 조합하여 CLIC-2019 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 각 픽셀 주변의 세 개의 링(반경)에 걸쳐 서로 다른 커널 크기(7×7, 5×5, 3×3)를 가진 세 개의 병렬 마스크 컨벌루션 레이어를 갖춘 다중 척도 마스크 컨벌루션 네트워크를 도입하여 맥락을 적응적으로 모델링한다.
• 중간 인코더 레이어에서 추출한 다중 척도 특징맵을 잠재 표현과 융합하여 하이퍼프리오르 기반 엔트로피 모델링을 위한 맥락을 풍부하게 한다.
• 자동회귀적 맥락 모델의 계산을 줄이기 위해 최대 수신장(7×7) 내에서만 처리하도록 제한하여 이 범위를 초월한 중복 연산을 방지한다.
• 전체 영점 특징맵의 부호화를 건너뛰기 위해 플래그 벡터를 도입하여 산술 부호화를 최적화함으로써 비트스트림 크기와 디코딩 시간을 감소시키되 성능 손실 없이 구현한다.
• 0-1 배낭 문제 기반 비트레이트 할당 전략을 적용하여, 다양한 λ 값에서 학습된 다중 모델 간에 개별 이미지에 최적의 비트레이트를 할당함으로써 전체 MS-SSIM을 최대화한다.
• 하이퍼프리오르에 대해 분할 가능한 엔트로피 모델을 사용하고, 1×1 컨벌루션을 갖는 학습 가능한 엔트로피 모델을 도입하여 각 잠재 특징에 대해 정규분포 파라미터(μ 및 σ)를 예측한다.

실험 결과

연구 질문

• RQ1 다중 척도, 맥락 적응형 자동회귀적 엔트로피 모델은 저비트레이트에서 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ2 자동회귀적 엔트로피 모델링의 높은 계산 비용은 성능 저하 없이 어떻게 줄일 수 있는가?
• RQ3 전체 영점 특징맵 탐지 기반 선택적 산술 부호화가 비용 절감 효과를 가져오며, 비트레이트 손실이 거의 없이 디코딩 속도를 얼마나 향상시킬 수 있는가?
• RQ4 다양한 λ 값에서 학습된 다중 모델 간 비트레이트 할당 전략은 총 비트레이트 제약 조건 하에 전체 MS-SSIM 성능 향상에 얼마나 기여하는가?
• RQ5 계층적 사전 정보와 자동회귀적 사전 정보를 다중 척도 맥락 모델링과 조합할 경우, Kodak 및 CLIC-2019와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 CLIC-2019 테스트 데이터셋에서 0.150 bpp에서 MS-SSIM 0.9739를 기록하여 단일 모델 기반 베이스라인을 초월하고 새로운 최신 기술 수준을 수립한다.
• 비트레이트 범위 [0.120, 0.267] bpp 내에서, 평가된 모든 모델 중에서 최고의 MS-SSIM(0.9739)과 PSNR(28.50) 성능를 기록하여 넓은 비트레이트 할당의 이점을 입증한다.
• 선택적 산술 부호화 방법은 대규모 이미지(예: 2000×2000)에서 디코딩 시간을 96% 이상 감소시키며, 엔트로피 증가가 극히 미미(0.0001 bpp 미만)하여 성능 손실이 거의 없다.
• 수신장 자르기로 픽셀당 계산량을 O(h×w×c)에서 O(7×7×c)로 줄였지만 성능 저하 없이 전체 맥락 정보를 유지할 수 있었으며, 7×7 수신장 내에서 충분한 맥락 정보를 확보함을 확인했다.
• 다중 척도 맥락 모델은 다양한 커널 크기를 통해 장거리 의존성을 포착함으로써 확률 추정을 향상시키고, 재구성 품질을 향상시킨다.
• 통합 비트레이트 할당 전략은 CLIC-2019 챌린지에서 MS-SSIM 2위, MOS(Mean Opinion Score) 3위 성과를 기록하여 실제 평가 환경에서의 효과성을 입증한다.