[논문 리뷰] Soft then Hard: Rethinking the Quantization in Neural Image Compression

Zongyu Guo, Zhizheng Zhang외 2명|arXiv (Cornell University)|2021. 04. 12.

Advanced Data Compression Techniques참고 문헌 41인용 수 7

한 줄 요약

이 논문은 신경망 기반 이미지 압축을 위한 소프트-스위치 양자화 전략을 제안한다. 먼저 가우시안 노이즈를 사용해 유연한 잠재 표현을 학습하고, 이후 하드 양자화로 미세조정하여 학습-테스트 불일치를 해소한다. 또한 새로운 변동형 상한을 통해 스케일링된 추가 균일 노이즈를 도입하여 양자화 간격을 적응적으로 제어함으로써 기존 최고 수준의 모델 대비 8.9%의 BD-레트 사용량 절감을 달성한다.

ABSTRACT

Quantization is one of the core components in lossy image compression. For neural image compression, end-to-end optimization requires differentiable approximations of quantization, which can generally be grouped into three categories: additive uniform noise, straight-through estimator and soft-to-hard annealing. Training with additive uniform noise approximates the quantization error variationally but suffers from the train-test mismatch. The other two methods do not encounter this mismatch but, as shown in this paper, hurt the rate-distortion performance since the latent representation ability is weakened. We thus propose a novel soft-then-hard quantization strategy for neural image compression that first learns an expressive latent space softly, then closes the train-test mismatch with hard quantization. In addition, beyond the fixed integer quantization, we apply scaled additive uniform noise to adaptively control the quantization granularity by deriving a new variational upper bound on actual rate. Experiments demonstrate that our proposed methods are easy to adopt, stable to train, and highly effective especially on complex compression models.

연구 동기 및 목표

• 차별가능한 양자화 근사화로 인해 발생하는 신경망 기반 이미지 압축의 학습-테스트 불일치 문제를 해결하기 위해.
• 직선 통과 추정기와 소프트-하드 안내에 의해 약화되는 잠재 표현 능력을 향상시키기 위해.
• 추가 균일 노이즈의 표현력 있는 잠재 공간 학습을 유지하면서도, 그로 인한 학습-테스트 불일치 문제를 제거하기 위해.
• 학습 가능한 노이즈 스케일을 통해 이미지 콘텐츠와 잠재 채널 특성에 따라 적응적인 양자화 간격을 가능하게 하여 비율-왜곡 효율성을 향상시키기 위해.
• 기존의 노이즈 완화 압축 모델에 아키텍처 변경 없이 적용 가능한 플러그-앤플레이 기법을 개발하기 위해.

제안 방법

• 먼저, 양자화의 소프트 근사로 추가 균일 노이즈를 사용하여 인코더를 훈련시켜 매끄럽고 표현력 있는 잠재 공간을 학습한다.
• 그 후, 하드 양자화를 사용해 디코더를 사후 조정함으로써 실제 테스트 시점의 동작과 일치시켜 학습-테스트 불일치를 해소한다.
• 실제 비율에 대한 새로운 변동형 상한을 유도함으로써 스케일링된 추가 균일 노이즈를 도입하여 요소별로 적응적인 양자화 간격 크기를 가능하게 한다.
• 노이즈 스케일은 종단 간(end-to-end)으로 학습되며, 이미지 무늬와 채널 별 복잡성과 관련된 맥락 인식 가능한 양자화 간격을 가능하게 한다.
• 이 방법은 플러그-앤플레이 기법이다: 소프트-스위치 전략과 스케일링된 노이즈는 기존의 노이즈 완화 압축 모델에 적용 가능하다.
• 이 접근법은 노이즈 기반 훈련의 표현력과 추론 시 하드 양자화의 정확성을 결합하여 비율-왜곡 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 직선 통과 추정기와 소프트-하드 안내가 학습-테스트 불일치를 제거했음에도 불구하고 비율-왜곡 성능을 떨어뜨리는 이유는 무엇인가?
• RQ2 추가 균일 노이즈의 표현력 있는 잠재 공간을 유지하면서도 그로 인한 학습-테스트 불일치 문제를 해결할 수 있는가?
• RQ3 이미지 콘텐츠와 잠재 채널 특성에 따라 양자화 간격을 어떻게 적응적으로 만들 수 있는가?
• RQ4 두 단계 훈련 전략(소프트 훈련 → 하드 미세조정)이 다양한 모델에서 압축 성능을 향상시키는가?
• RQ5 학습 가능한 적응적 노이즈 스케일이 고정된 양자화 간격보다 비율-왜곡 효율성을 향상시킬 수 있는가?

주요 결과

• 소프트-스위치 양자화 전략은 기존 최고 수준의 모델(Cheng et al., 2020) 대비 8.9%의 BD-레트 절감을 달성한다.
• 제안된 방법은 모든 비트레이트에서 비율-왜곡 성능을 향상시키며, 이전의 안내 방법이 성능을 떨어뜨리는 고비트레이트 영역에서도 안정적인 성능 향상을 보인다.
• 스케일링된 균일 노이즈를 적용함으로써 요소별로 적응적인 양자화가 가능해졌으며, 학습된 노이즈 스케일은 이미지 무늬와 채널 별 복잡성과 강하게 상관된다.
• 이 방법은 STE 기반 및 SGA 기반의 미세조정 방식보다 성능이 뛰어나며, 이는 훈련의 불안정성과 열악한 성능을 야기하는 문제를 피한다.
• MS-SSIM 최적화를 위해 최적화된 경우, 제안된 방법은 모든 비트레이트에서 안정적인 향상과 함께 시각적으로 우수한 복원 성능을 제공한다.
• 이 방법은 강건하고 일반화 능력이 뛰어나, Guo et al. (2020)과 같은 강력한 다른 모델에 적용했을 때도 최고 성능을 기록하며, VVC 기준을 초월한다.