[논문 리뷰] Learning Context-Based Non-local Entropy Modeling for Image Compression

Mu Li, Kai Zhang외 3명|arXiv (Cornell University)|2020. 05. 10.

Advanced Data Compression Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 비국소 주의 블록을 통해 잠재 코드 내의 전역 유사성을 활용하여 비율-왜곡 성능을 햖थ한 컨텍스트 기반 비국소 엔트로피 모델링 방법을 제안한다. 참조가 없는 문제를 해결하기 위해 프록시 유사도 함수와 공간 마스크를 도입하고, 마스크된 컨볼루션 네트워크 내에서 국소 및 전역 컨텍스트를 비국소 주의 메커니즘을 통해 통합함으로써 우수한 엔트로피 추정을 달성한다. 또한 변환 과정에 유사 U-Net 블록을 도입하여 넓이를 효율적으로 증가시켜, Kodak 및 Tecnick 데이터셋에서 특히 저왜곡 수준에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The entropy of the codes usually serves as the rate loss in the recent learned lossy image compression methods. Precise estimation of the probabilistic distribution of the codes plays a vital role in the performance. However, existing deep learning based entropy modeling methods generally assume the latent codes are statistically independent or depend on some side information or local context, which fails to take the global similarity within the context into account and thus hinder the accurate entropy estimation. To address this issue, we propose a non-local operation for context modeling by employing the global similarity within the context. Specifically, we first introduce the proxy similarity functions and spatial masks to handle the missing reference problem in context modeling. Then, we combine the local and the global context via a non-local attention block and employ it in masked convolutional networks for entropy modeling. The entropy model is further adopted as the rate loss in a joint rate-distortion optimization to guide the training of the analysis transform and the synthesis transform network in transforming coding framework. Considering that the width of the transforms is essential in training low distortion models, we finally produce a U-Net block in the transforms to increase the width with manageable memory consumption and time complexity. Experiments on Kodak and Tecnick datasets demonstrate the superiority of the proposed context-based non-local attention block in entropy modeling and the U-Net block in low distortion compression against the existing image compression standards and recent deep image compression models.

연구 동기 및 목표

• 기존 딥러닝 기반 엔트로피 모델이 국소 또는 독립적인 컨텍스트에만 의존하여 잠재 코드 내의 전역 유사성을 포착하지 못하는 한계를 해결하기 위해.
• 비국소 주의 모델링에서 참조가 없는 문제를 해결하기 위해 프록시 유사도 함수와 공간 마스크를 도입하여 비국소 주의를 수행하기 위해.
• 마스크된 컨볼루션 네트워크 내에서 비국소 주의 블록을 통해 국소 및 전역 컨텍스트 표현을 융합하여 엔트로피 추정 정확도를 향상시키기 위해.
• 메모리 및 시간 효율적인 U-Net 블록을 분석 및 복원 변환에 설계하여 정보 손실을 줄이고 저왜곡 압축 성능을 향상시키기 위해.
• 학습된 엔트로피 모델을 비율 손실로 사용하여 비율과 왜곡을 동시에 최적화함으로써 이미지 압축 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 잠재 코드 특징 간의 전역 유사성을 추정하기 위해 프록시 유사도 함수를 도입하여 직접 참조 없이도 비국소 컨텍스트 모델링이 가능하도록 함.
• 비국소 계산 중 불필요한 영역을 억제하고 주의 집중을 향상시키기 위해 공간 마스크를 활용함.
• 마스크된 컨볼루션에서 유도된 국소 컨텍스트와 유사도 기반 특징에서 유도된 전역 컨텍스트를 융합하는 비국소 주의 블록을 설계하여 엔트로피 모델링 성능을 향상시킴.
• 비국소 주의 블록을 마스크된 컨볼루션 네트워크 아키텍처에 통합하여 잠재 코드의 조건부 확률 분포를 모델링함.
• 분석 및 복원 변환에 유사 U-Net 블록을 제안하여 네트워크의 너비를 효율적으로 증가시키고, 메모리 및 시간 복잡도를 감소시킴.
• 학습된 엔트로피 모델을 공동 비율-왜곡 최적화 과정에서 비율 손실로 사용하여 전체 이미지 압축 프레임워크를 훈련시킴.

실험 결과

연구 질문

• RQ1 잠재 코드 내의 전역 유사성은 국소 컨텍스트 모델링을 초월하여 엔트로피 추정을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 딥러닝 기반 이미지 압축에서 비국소 컨텍스트 모델링의 참조가 없는 문제는 어떻게 해결할 수 있는가?
• RQ3 비국소 주의 블록을 통해 국소 및 전역 컨텍스트 표현을 융합하면 더 나은 엔트로피 모델링 및 압축 성능을 달성할 수 있는가?
• RQ4 변환 과정에 유사 U-Net 블록을 도입하면 계산 비용을 관리 가능한 수준으로 유지하면서 네트워크 너비를 높일 수 있는가? 저왜곡 압축 성능 향상에 기여하는가?
• RQ5 제안된 방법은 기존 이미지 압축 표준 및 딥러닝 모델 대비 비율-왜곡 성능에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 컨텍스트 기반 비국소 엔트로피 모델은 CCN 기반 모델보다 유의미하게 뛰어나며, 14개의 코드 세트 평균에서 코드당 비트 수를 최대 15%까지 감소시킴.
• Kodak 데이터셋에서 0.25 bpp에서 PSNR 34.82 dB를 달성하여 이전 최신 기술 수준 모델과 JPEG 2000을 초월함. 고비트레이트에서 특히 두각을 나타냄.
• U-Net 블록은 GPU 메모리 제약을 초과하지 않으면서도 네트워크 너비를 64채널까지 증가시킬 수 있었고, 잔차 블록은 전체 이미지에서 실패함.
• U-Net 기반 변환은 잔차 기반 대비 2.5배 빠르고 GPU 메모리 소비는 40% 감소시켰지만, PSNR는 유사 수준을 유지함.
• 비국소 주의 메커니즘은 국소 컨텍스트만으로는 표현력이 부족한 상위 코드 평면에서 우수한 성능를 보임.
• MS-SSIM으로 최적화된 모델은 MSE로 최적화된 모델보다 더 나은 구조적 보존 성능를 보이며, 개선된 시각적 품질을 입증함.