[논문 리뷰] Autoencoder based image compression: can the learning be quantization independent?

Thierry Dumas, Aline Roumy외 1명|arXiv (Cornell University)|2018. 02. 23.

Advanced Data Compression Techniques참고 문헌 13인용 수 7

한 줄 요약

이 논문은 단일 딥 오토인코더가 각 특징 맵당 공유된 변환과 양자화 스텝 사이즈를 학습하여, 각 레이트에 대해 별도의 모델을 훈련할 필요 없이 다수의 레이트-왜곡 포인트에서 경쟁 가능한 이미지 압축 성능을 달성할 수 있음을 보여준다. 주요 기여는 테스트 시점에서 양자화 스텝 사이즈가 변하더라도 성능 저하가 발생하지 않는 양자화 독립적 학습이다.

ABSTRACT

This paper explores the problem of learning transforms for image compression via autoencoders. Usually, the rate-distortion performances of image compression are tuned by varying the quantization step size. In the case of autoen-coders, this in principle would require learning one transform per rate-distortion point at a given quantization step size. Here, we show that comparable performances can be obtained with a unique learned transform. The different rate-distortion points are then reached by varying the quantization step size at test time. This approach saves a lot of training time.

연구 동기 및 목표

• 단일으로 학습된 오토인코더 변환이 재학습 없이 다수의 레이트-왜곡 포인트를 지원할 수 있는지 조사하기.
• 각 특징 맵당 명시적인 양자화 스텝 사이즈 학습이 테스트 시점 레이트 적응에 기여하는지 확인하기.
• 각 레이트에 맞게 모델을 재학습하는 전통적 방법과 비교해, 양자화 독립적 학습의 성능을 평가하기.
• 변환 및 양자화 파rameter의 동시 학습이 압축 효율성을 향상시키는지 평가하기.
• 학습 시 사용된 양자화 스텝 사이즈와 다른 값을 사용해도 학습된 표현이 성능을 유지하는지 평가하기.

제안 방법

• 크기 불변성을 보장하기 위해 완전히 연결된 층을 피하고, 컨volutional 레이어와 비선형성을 포함한 단일 딥 오토인코더를 훈련한다.
• 잠재 표현 $\mathbf{Y}$의 $m$개의 특징 맵 각각에 대해 학습 가능한 양자화 스텝 사이즈 $\delta_i$ 를 도입하여 고정된 정규화 기반 비트 할당 방식을 대체한다.
• 레이트-왜곡 목적함수를 $\min_{\theta, \varphi_e, \varphi_d, \phi} \mathbb{E}[\|\mathbf{X} - \overline{g}_d(\mathcal{Q}(\overline{g}_e(\mathbf{X}; \theta, \varphi_e)); \varphi_d, \phi)\|_F^2 + \gamma \sum_i H_i]$ 로 설정하며, 여기서 $H_i$ 는 $i$-번째 특징 맵의 엔트로피이다.
• 기울기 기반 최적화를 가능하게 하기 위해 비가역적인 양자화를 근사하기 위해 균일한 노이즈 주입 기법을 사용한다.
• 256 × 256 크기의 24,000장의 ImageNet 이미지로 오토인코더를 훈련한 후, 다양한 테스트 시점 양자화 스텝 사이즈를 사용해 Kodak 24개의 루미넌스 이미지로 평가한다.
• 압축률을 양자화된 계수의 경험적 엔트로피로 추정하며, 손실 없는 코딩을 사용해 추정된 압축률의 정확성을 검증한다 (오차 < 0.04 bpp).

실험 결과

연구 질문

• RQ1 단일으로 학습된 오토인코더 변환이 재학습 없이 다양한 비트레이트에서 경쟁 가능한 레이트-왜곡 성능을 달성할 수 있는가?
• RQ2 각 특징 맵당 명시적인 양자화 스텝 사이즈 학습이 테스트 시점에서 효과적인 레이트 적응을 가능하게 하는가?
• RQ3 고정된 양자화 스텝 사이즈로 학습하는 전통적 방법과 비교해, 변환과 양자화 학습을 동시에 수행하는 방법의 성능은 어떠한가?
• RQ4 학습된 잠재 표현이 추론 시 양자화 스텝 사이즈 변화에 대해 얼마나 강건한가?
• RQ5 단일 모델로 JPEG2000 및 H.265와 같은 표준 코덱을 초월하는 레이트-왜곡 성능을 달성할 수 있는가?

주요 결과

• 각 특징 맵당 학습 가능한 양자화 스텝 사이즈를 갖춘 단일 오토인코더는 각 레이트-왜곡 포인트에 대해 별도로 모델을 훈련하는 것과 유사한 레이트-왜곡 성능을 달성한다.
• 학습된 정규화 방식을 사용하는 고정된 양자화 스텝 사이즈(1.0) 모델과 비교했을 때, 양자화 독립적 모델의 성능은 거의 동일한데, 이는 양자화에 128개의 파라미터만 사용한 데 반해 정규화에는 33,024개의 파라미터가 필요했기 때문이다.
• 학습된 잠재 표현은 양자화 스텝 사이즈와 압축률 사이에 선형 관계를 보이며, 특징 맵 전반에 걸쳐 엔트로피가 예측 가능하게 스케일링된다.
• 모든 테스트 레이트에서 JPEG2000을 초월하며, 레이트-왜곡 효율성이 뛰어나다는 것을 입증한다.
• 테스트 시점에서 다양한 양자화 스텝 사이즈(1.0에서 10.0까지)를 사용한 레이트 적응이 일관된 성능을 보이며, 양자화 변화에 대한 강건성을 확인한다.
• 손실 없는 코딩을 통한 실제 압축률과 추정된 압축률 간의 오차는 0.04 bpp 미만이었으며, 엔트로피 기반 압축률 추정의 정확성을 검증한다.