[논문 리뷰] Improved Lossy Image Compression with Priming and Spatially Adaptive Bit Rates for Recurrent Networks

Nick Johnston, Damien Vincent외 7명|arXiv (Cornell University)|2017. 03. 29.

Advanced Data Compression Techniques참고 문헌 18인용 수 27

한 줄 요약

이 논문은 세 가지 핵심 기여를 통해 손실 압축 성능을 향상시키는 순환 신경망 기반 이미지 압축 방법을 제안한다: SSIM를 통한 시각적 가중 훈련 손실, 공간적 맥락을 향상시키기 위한 은닉 상태 프라밍, 그리고 동적 비트 할당을 위한 공간적 적응형 비트 레이트(SABR). 이 방법은 Kodak 및 Tecnick 데이터셋에서 BPG, WebP, JPEG2000, JPEG를 초월하여 최신 기술 수준의 MS-SSIM 성능을 달성하며, 동일한 품질 수준에서 최대 25%의 비트 레이트 절감을 이룬다.

ABSTRACT

We propose a method for lossy image compression based on recurrent, convolutional neural networks that outperforms BPG (4:2:0 ), WebP, JPEG2000, and JPEG as measured by MS-SSIM. We introduce three improvements over previous research that lead to this state-of-the-art result. First, we show that training with a pixel-wise loss weighted by SSIM increases reconstruction quality according to several metrics. Second, we modify the recurrent architecture to improve spatial diffusion, which allows the network to more effectively capture and propagate image information through the network's hidden state. Finally, in addition to lossless entropy coding, we use a spatially adaptive bit allocation algorithm to more efficiently use the limited number of bits to encode visually complex image regions. We evaluate our method on the Kodak and Tecnick image sets and compare against standard codecs as well recently published methods based on deep neural networks.

연구 동기 및 목표

• 기존 표준 코덱 및 신경망 기반 방법을 초월하여 손실 압축 성능을 향상시키기 위해.
• 신경망 이미지 압축에서 고정 비트 레이트 및 비적응형 비트 할당의 한계를 해결하기 위해.
• 훈련 목표에 시각적 유사도(SSI)를 통합하여 복원 품질을 향상시키기 위해.
• 의도적인 계산 부담 증가 없이도 순환 디코더에서 은닉 상태 프라밍을 통해 공간적 맥락을 강화하기 위해.
• 로컬 복잡도 기반으로 이미지 영역별로 비트 레이트를 적응적으로 할당함으로써 효율적인 비트 할당을 가능하게 하기 위해.

제안 방법

• 각 반복에서 원본 이미지와 이전 복원 이미지 간 잔차를 인코딩하는 순환 오토인코더 아키텍처를 사용한다.
• 구조적 유사도(SSIM)로 스케일링된 시각적 가중 L1 손실을 적용하여 훈련 중에 시각적으로 중요한 이미지 영역을 우선시한다.
• 이중 인코더-디코더 반복을 통해 이진 코드 생성 전에 은닉 상태를 사전에 준비함으로써 은닉 상태 프라밍을 도입하여 순환 상태의 초기 맥락을 풍부화시킨다.
• 학습된 높이 맵을 사용하여 복잡한 이미지 영역에 더 많은 비트를, 단순한 영역에 더 적은 비트를 동적으로 할당하는 공간적 적응형 비트 레이트(SABR)를 구현한다.
• SABR를 엔트로피 코딩과 조합하여 비트 레이트-왜곡 효율을 추가로 향상시키며, 품질 손실 없이 총 비트 레이트를 감소시킨다.
• 비가역적 양자화 단계의 엔드 투 엔드 훈련을 가능하게 하기 위해 추가 균일 노이즈를 통한 미분 가능 양자화 근사 기법을 활용한다.

실험 결과

연구 질문

• RQ1 SSIM 기반의 시각적 가중 훈련 손실이 신경망 기반 이미지 압축에서 이미지 복원 품질을 향상시킬 수 있는가?
• RQ2 순환 오토인코더 아키텍처에서 은닉 상태 프라밍이 공간적 맥락을 강화하고 복원 정밀도를 향상시킬 수 있는가?
• RQ3 공간적 적응형 비트 레이트 할당이 복잡한 이미지 영역의 시각적 품질을 유지하면서 총 비트 레이트를 감소시킬 수 있는가?
• RQ4 프라밍, SSIM 가중 손실, SABR의 병합 효과가 BPG, WebP, JPEG2000와 같은 최신 기술 수준의 코덱과 비교해 비트 레이트-왜곡 성능에서 어떻게 나타나는가?
• RQ5 제안된 방법이 이전의 신경망 기반 압축 모델에 비해 MS-SSIM 및 PSNR 지표에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• Kodak 데이터셋에서 MS-SSIM 수준이 동일할 때, 제안된 방법은 JPEG 대비 25.19%의 비트 레이트 절감을 달성했으며, Bjøntegaard Delta로 측정되었다.
• Kodak 데이터셋에서 동일한 MS-SSIM 품질 수준에서 BPG 4:2:0에 비해 17.36%의 비트 레이트 절감을 기록했다.
• 공간적 적응형 비트 레이트와 프라밍을 적용한 모델는 BPG 4:4:4가 44.10 MS-SSIM를 기록한 것보다 더 낮은 비트 레이트로 45.65 MS-SSIM 점수를 달성했다.
• 프라밍과 SABR의 조합은 이전의 신경망 기반 방법(예: Theis et al. 및 Toderici et al.의 연구)을 초월하여 MS-SSIM 비트 레이트-왜곡 곡선을 향상시켰다.
• 동일한 PSNR 수준에서 Toderici et al. [21]에 비해 비트 레이트를 44.98% 감소시켜 뚜렷한 효율성 향상을 입증했다.
• Tecnick 데이터셋에서 동일한 MS-SSIM 품질 수준에서 WebP에 비해 24.28%의 비트 레이트 절감을 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 보였다.