[논문 리뷰] Learning Content-Weighted Deep Image Compression

Mu Li, Wangmeng Zuo외 3명|arXiv (Cornell University)|2019. 04. 01.

Advanced Data Compression Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 공간적으로 적응형 비트 할당을 가능하게 하는 학습 가능한 중요도 맵 서브넷을 사용하는 콘텐츠 가중치 딥 이미지 압축 프레임워크(CWIC)를 제안한다. 이는 저비트레이트에서 시각적 품질을 향상시킨다. 기존의 엔트로피 추정을 중요도 마스크 기반의 비트레이트 제어로 대체하고, 맥락 인식 엔트로피 모델링을 위한 컷팅된 컨볼루션 네트워크를 활용함으로써, PSNR와 MS-SSIM 모두에서 최신 기술 수준(SOTA)의 성능을 달성한다. 특히 주목할 만한 이미지 구조를 잘 유지한다.

ABSTRACT

Learning-based lossy image compression usually involves the joint optimization of rate-distortion performance. Most existing methods adopt spatially invariant bit length allocation and incorporate discrete entropy approximation to constrain compression rate. Nonetheless, the information content is spatially variant, where the regions with complex and salient structures generally are more essential to image compression. Taking the spatial variation of image content into account, this paper presents a content-weighted encoder-decoder model, which involves an importance map subnet to produce the importance mask for locally adaptive bit rate allocation. Consequently, the summation of importance mask can thus be utilized as an alternative of entropy estimation for compression rate control. Furthermore, the quantized representations of the learned code and importance map are still spatially dependent, which can be losslessly compressed using arithmetic coding. To compress the codes effectively and efficiently, we propose a trimmed convolutional network to predict the conditional probability of quantized codes. Experiments show that the proposed method can produce visually much better results, and performs favorably in comparison with deep and traditional lossy image compression approaches.

연구 동기 및 목표

• 기존 딥 이미지 압축 모델에서 공간적으로 불변하는 비트 할당의 한계를 해결하기 위해.
• 공간적으로 변동하는 이미지 콘텐츠와 구조적 중요도를 모델링하여 압축 효율을 향상시키기 위해.
• 보다 정확한 비트레이트 제어를 위해 기존의 엔트로피 추정을 중요도 마스크 기반의 비트레이트 제어로 대체하기 위해.
• 더 큰 맥락 모델링을 활용한 고급 엔트로피 코딩을 통해 양자화된 특징 내의 공간적 의존성을 활용하기 위해.
• 평행 처리가 가능한 엔트로피 예측을 위한 새로운 기울어진 TCAE 아키텍처를 도입하여 복호화 속도를 가속화하기 위해.

제안 방법

• 모든 이미지 위치에 대해 공간적으로 변동하는 중요도 점수를 예측하기 위해 중요도 맵 서브넷을 엔드 투 엔드로 훈련한다.
• 중요도 맵은 이산 수준으로 양자화되고, 특징 채널의 선택적 코딩을 위한 이진 중요도 마스크를 생성하는 데 사용된다.
• 학습 가능한 채널별 다중 수준 양자화는 양자화 오차를 감소시키면서도 각 공간 위치에 대한 적응형 비트 할당을 가능하게 한다.
• 양자화된 코드와 중요도 맵은 컷팅된 컨볼루션 네트워크(TCAE) 기반의 맥락 모델을 사용한 산술 코딩으로 손실 없이 압축된다.
• 기울어진 TCAE 변종은 평면 기반 맥락 구조를 활용하여 기울어진 평면 내에서 기호를 동시에 복호화할 수 있도록 하여 병렬 복호화를 가능하게 한다.
• 전체 시스템은 양자화와 엔트로피 추정에 대한 미분 가능한 프oxy를 사용하여 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 학습된 이미지 콘텐츠 중요도 기반의 공간적 적응형 비트 할당이 압축 성능과 시각적 품질을 향상시키는가?
• RQ2 엔트로피 추정을 중요도 마스크 합산으로 대체할 경우 비트레이트 제어 정확도와 압축 효율성에 어떤 영향을 미치는가?
• RQ3 엔트로피 코딩에서 더 큰 맥락 모델링이 압축 성능 향상에 기여할 수 있는가, 동시에 계산 가능성을 유지하는가?
• RQ4 병행 처리가 가능한 엔트로피 코딩 아키텍처는 압축 효율성을 희생시키지 않고 더 빠른 복호화를 가능하게 하는가?
• RQ5 제안된 방법은 최신 기술 수준의 딥 및 전통적 이미지 압축 방법과 비교해 비트레이트-왜곡 성능과 시각적 품질 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 CWIC 방법은 Kodak 데이터셋에서 0.208 bpp에서 PSNR 32.69 dB를 달성하여, 동일 비트레이트에서 Ballé 등 [5]보다 1.28 dB 높은 성능을 보였다.
• 0.217 bpp에서 MS-SSIM 0.956을 기록하여 Ballé 등 [5]의 0.931보다 유의미하게 높았으며, 이는 더 우수한 구조적 유지 능력을 시사한다.
• 중요도 맵은 저비트레이트에서 특히 얼굴 특징와 텍스처 같은 미세한 디테일 복구를 향상시켜 시각적으로 Figure 1에서 확인할 수 있다.
• 기울어진 TCAE는 기울어진 평면 내에서 기호를 동시에 복호화할 수 있도록 하여 표준 TCAE 대비 100배 이상 빠른 복호화 속도를 달성했다.
• 단일 GPU에서 압축 코드 스트림의 인코딩과 복호화 소요 시간은 각각 0.024초와 0.032초였으며, 실시간 구현 가능성을 보여주었다.
• 컨볼루션 엔트로피 예측 모델 [12]은 중요도 수준이 높아질수록 처리해야 할 기호 수가 증가하여 인코딩 시간이 증가함을 확인하였으며, 이는 제안된 방법의 확장 가능성을 뒷받침한다.